[논문 리뷰] Be More with Less: Hypergraph Attention Networks for Inductive Text Classification

Kaize Ding, Jianling Wang외 3명|arXiv (Cornell University)|2020. 11. 01.

Topic Modeling참고 문헌 33인용 수 15

한 줄 요약

이 논문은 고차원 단어 상호작용을 포괄하면서도 계산 비용을 줄이는 문서 수준의 초그래프를 사용하여 텍스트 문서를 모델링하는 HyperGAT라는 초그래프 어텐션 네트워크를 제안한다. 순차적이고 의미적 초모서리에 걸쳐 이중 어텐션 메커니즘을 활용함으로써, 기존의 GNN보다 더 높은 표현력과 효율성을 확보한 채 인덕티브 텍스트 분류에서 최고 성능을 달성한다.

ABSTRACT

Text classification is a critical research topic with broad applications in natural language processing. Recently, graph neural networks (GNNs) have received increasing attention in the research community and demonstrated their promising results on this canonical task. Despite the success, their performance could be largely jeopardized in practice since they are: (1) unable to capture high-order interaction between words; (2) inefficient to handle large datasets and new documents. To address those issues, in this paper, we propose a principled model -- hypergraph attention networks (HyperGAT), which can obtain more expressive power with less computational consumption for text representation learning. Extensive experiments on various benchmark datasets demonstrate the efficacy of the proposed approach on the text classification task.

연구 동기 및 목표

• 기존 그래프 신경망이 이원관계를 초월한 고차원 단어 상호작용을 포괄하는 데에 한계가 있음을 해결하기 위해.
• 대규모 및 동적 텍스트 데이터셋에 대한 텍스트 표현 학습에서 계산 소비를 줄이기 위해.
• 학습 중에 테스트 데이터에 접근이 필요로 하는 전도적 학습을 피하고 인덕티브 학습을 가능하게 하기 위해.
• 계산 오버헤드를 증가시키지 않으면서도 표현력을 향상시키는 원칙적인 모델을 개발하기 위해.
• 순차적이고 의미적인 다양한 맥락 정보를 통합된 초그래프 구조에 통합하여 텍스트 표현을 향상시키기 위해.

제안 방법

• 각 텍스트 문서를 초그래프로 모델링하여, 초모서리가 여러 단어를 연결함으로써 고차원 상호작용을 표현한다.
• 두 가지 유형의 초모서리를 구성한다: 단어 순서에 기반한 순차적 초모서리와 단어 임베딩에 기반한 의미적 초모서리로 맥락적 의미를 포착한다.
• 이중 어텐션 메커니즘을 설계한다: 노드 수준 어텐션은 각 초모서리 내의 단어에 가중치를 할당하고, 엣지 수준 어텐션은 초모서리에 가중치를 할당하여 선택적 집합을 수행한다.
• 학습 가능한 어텐션 파rameter를 사용하여 초그래프 내 메시지 전파 과정에서 정보가 많은 단어와 초모서리를 동적으로 강조한다.
• 다중 층 스태킹을 통해 HyperGAT 블록을 반복 적용하여 장거리 의존성을 포착하고 여러 스텝에 걸쳐 표현을 풍부하게 한다.
• 텍스트 분류를 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 미리 보지 않은 문서에 대한 인덕티브 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 초그래프 기반 모델링은 삼중 및 고차원 단어 상호작용을 포착함으로써 텍스트 표현의 표현력을 향상시킬 수 있는가?
• RQ2 표준 그래프 신경망에 비해 초그래프 어텐션 메커니즘은 텍스트 분류에서 계산 비용을 줄일 수 있는가?
• RQ3 이중 어텐션 메커니즘은 정보가 많은 단어와 초모서리를 선택적으로 집중함으로써 모델 성능을 향상시키는가?
• RQ4 제안된 모델은 재학습 없이도 새로운, 보지 않은 문서에 효과적으로 일반화될 수 있는가—즉, 인덕티브 학습을 지원하는가?
• RQ5 순차적 초모서리와 의미적 초모서리는 최종 표현 품질에 어떻게 다른 기여를 하는가?

주요 결과

• HyperGAT는 다양한 벤치마크 데이터셋에서 최고 성능을 기록하였으며, 20NG에서 테스트 정확도 0.8662 ± 0.0016을 달성하여 모든 기준 모델을 압도적으로 앞서는 성능을 보였다.
• Ohsumed 데이터셋에서 HyperGAT는 0.9797 ± 0.0023의 테스트 정확도를 기록하여 의료 텍스트 분류 분야에서 뛰어난 성능을 입증하였다.
• 제거 실험 결과, 이중 어텐션 메커니즘을 제거할 경우 성능 저하가 심각하게 발생하여, 표현력 있는 표현을 학습하는 데서 그 효과를 확인하였다.
• 순차적 초모서리를 제거할 경우 의미적 초모서리를 제거하는 것보다 성능 저하가 더 심각하여, 순차적 구조가 표현 학습에 더 중요하다는 것을 시사하였다.
• t-SNE 시각화 결과, HyperGAT가 텍스트 수준 GNN보다 더 분류가 잘 되고 잘 분리된 문서 표현을 학습한다는 것이 확인되었다.
• 어텐션 시각화 결과, 모델이 의미 있는 초모서리—예를 들어 'player', 'baseball', 'win'을 연결하는 초모서리—를 정확히 식별하고 높은 어텐션 가중치를 할당함으로써 이중 어텐션 메커니즘의 해석 가능성(해석 가능성)을 검증하였다.