[논문 리뷰] Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks

Yufeng Zhang, Xueli Yu외 4명|arXiv (Cornell University)|2020. 04. 22.

Topic Modeling참고 문헌 21인용 수 30

한 줄 요약

TextING은 게이트드 그래프 신경망으로 미세한 단어 상호작용을 학습하기 위해 개별 문서 그래프를 구축하여, 귀납적 텍스트 분류와 보이지 않는 단어 처리를 가능하게 한다.

ABSTRACT

Text classification is fundamental in natural language processing (NLP), and Graph Neural Networks (GNN) are recently applied in this task. However, the existing graph-based works can neither capture the contextual word relationships within each document nor fulfil the inductive learning of new words. In this work, to overcome such problems, we propose TextING for inductive text classification via GNN. We first build individual graphs for each document and then use GNN to learn the fine-grained word representations based on their local structures, which can also effectively produce embeddings for unseen words in the new document. Finally, the word nodes are aggregated as the document embedding. Extensive experiments on four benchmark datasets show that our method outperforms state-of-the-art text classification methods.

연구 동기 및 목표

• 문서 내 단어 상호작용을 포착하는 데 있어 전역 구조의 텍스트 그래프가 가진 한계를 극복해야 한다는 동기를 제시한다.
• 문서별로 귀납적 그래프 신경망을 개발하여 로컬 단어 관계를 학습한다.
• 테스트 문서에서 보이지 않는 단어에 대한 임베딩을 가능하게 한다.
• 문서별 그래프가 최첨단 기준선보다 분류 정확도를 향상시킨다는 것을 입증한다.

제안 방법

• 슬라이딩 윈도우 동시발생을 이용하여 각 문서마다 개별 단어 그래프를 구성한다.
• 각 문서 그래프 내에서 단어 노드 표현을 전파하고 업데이트하기 위해 게이트드 그래프 신경망을 적용한다.
• 주의 가중치를 가진 단어 특징과 최대 풀링을 결합한 리드아웃 함수로 문서 표현을 형성한다.
• 그래프 표현을 소프트맥스 층에 입력하고 교차엔트로피 손실로 학습하여 분류한다.
• 로컬 그래프 신호와 전역 그래프 신호를 결합하는 다채널 TextING-M 변형으로 선택적으로 확장한다.

실험 결과

연구 질문

• RQ1 문서별 그래프에서 로컬 단어 간 상호작용을 학습함으로써 귀납적 텍스트 분류를 개선할 수 있는가?
• RQ2 문서별 그래프가 테스트 문서의 보이지 않는 단어에 대해 효과적인 임베딩을 가능하게 하는가?
• RQ3 벤치마크 데이터셋에서 TextING이 기존의 그래프 기반 및 비그래프 기반 텍스트 분류 방법과 어떻게 비교되는가?
• RQ4 그래프 깊이(레이어 수)와 윈도우 크기가 성능에 미치는 영향은 무엇인가?
• RQ5 로컬 및 글로벌 구조를 모두 활용하는 다채널 변형이 보완적 이점을 제공하는가?

주요 결과

모델	MR	R8	R52	Ohsumed
CNN (Non-static)	77.75 ± 0.72	95.71 ± 0.52	87.59 ± 0.48	58.44 ± 1.06
RNN (Bi-LSTM)	77.68 ± 0.86	96.31 ± 0.33	90.54 ± 0.91	49.27 ± 1.07
fastText	75.14 ± 0.20	96.13 ± 0.21	92.81 ± 0.09	57.70 ± 0.49
SWEM	76.65 ± 0.63	95.32 ± 0.26	92.94 ± 0.24	63.12 ± 0.55
TextGCN	76.74 ± 0.20	97.07 ± 0.10	93.56 ± 0.18	68.36 ± 0.56
Huang et al. (2019)	-	97.80 ± 0.20	94.60 ± 0.30	69.40 ± 0.60
TextING	79.82 ± 0.20	98.04 ± 0.25	95.48 ± 0.19	70.42 ± 0.39
TextING-M	80.19 ± 0.31	98.13 ± 0.12	95.68 ± 0.35	70.84 ± 0.52

• TextING는 네 가지 벤치마크 데이터셋(MR, R8, R52, Ohsumed)에서 최첨단 기준선보다 우수한 성능을 보인다.
• 보이지 않는 단어 비율이 높은 귀납적 설정에서 강력한 이점을 달성한다(예: 귀납적 조건에서 TextGCN 대비 약 21.06%의 평균 이익).
• 문서별 그래프는 전역 구조 그래프에 비해 분류 정확도를 높이는 미세한 단어 관계를 포착한다.
• TextING-M(다채널)이 데이터셋 전반에서 성능을 추가로 향상시킨다.
• 주목 시각화는 MR에서 읽기 함수가 감정 라벨과 상관되는 단어를 강조함을 보여준다.