[논문 리뷰] Graph Convolutional Networks for Text Classification

Liang Yao, Chengsheng Mao외 1명|arXiv (Cornell University)|2018. 09. 15.

Topic Modeling참고 문헌 28인용 수 62

한 줄 요약

이 논문은 Text GCN을 소개한다. 외부 임베딩 없이 텍스트를 분류하기 위해 두 계층 Graph Convolutional Network로 학습된 단어-문서 이질 코퍼스 그래프를 활용하며, 여러 벤치마크에서 강력한 성능을 달성한다.

ABSTRACT

Text classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.

연구 동기 및 목표

• 전역 단어 공출현(co-occurrence)을 활용한 그래프 구조 문제로 텍스트 분류를 동기화한다.
• 코퍼스 전반에 걸친 단어 노드와 문서 노드로 구성된 이질 그래프를 제안하여 엔드투엔드 학습을 가능하게 한다.
• 두 계층 Text GCN이 외부 임베딩 없이도 최첨단 baselines를 능가할 수 있음을 보인다.
• Text GCN이 해석 가능한 단어 및 문서 임베딩을 산출하고 라벨이 제한된 데이터에서도 견고함을 보임을 보인다.

제안 방법

• 전체 코퍼스를 대상으로 단어 노드와 문서 노드로 구성된 큰 이질 그래프를 구축한다.
• 입력 특징으로 단어와 문서의 원-핫 벡터(단위 행렬)를 설정한다.
• 문서-단어 간의 간선은 TF-IDF 가중치로 연결하고, 단어-단어 간 간선은 슬라이딩 윈도(co-occurrences)에서 양의 PMI를 사용하여 연결한다.
• 정보를 전파하고 노드 임베딩을 생성하기 위해 두 계층의 그래프 컨볼루션 네트워크를 적용한다.
• 두 번째 계층 임베딩에서 소프트맥스 분류기를 사용하여 문서 분류를 수행한다.
• 레이블링된 문서에 대해 교차 엔트로피 손실로 엔드투엔드 학습한다; 티ikhonov 정규화와 Adam 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 Text GCN이 외부 단어 임베딩 없이 표준 텍스트 분류 벤치마크에서 높은 정확도를 달성할 수 있는가?
• RQ2 학습 중 모델이 정보성 있는 단어 및 문서 임베딩을 학습하는가?
• RQ3 제한된 라벨 데이터와 비교해 Text GCN은 baselines보다 어떤 성능을 보이는가?
• RQ4 그래프 구성 선택(윈도우 크기, PMI)이 성능에 어떤 영향을 미치는가?

주요 결과

• Text GCN은 20NG, R8, R52 및 Ohsumed 데이터셋에서 다수의 베이스라인을 능가한다 (통계적 유의성 p<0.05).
• Text GCN은 상대적으로 적은 학습 데이터로도 경쟁력 있는 결과를 얻고, 라벨 데이터가 부족할 때도 견고함을 보인다.
• 모델은 2계층의 단어 임베딩이 해석 가능함을 보이며, 이 임베딩은 문서 클래스와 상관관계가 있다.
• 두 계층의 GCN이면 충분하며, 더 많은 계층을 추가해도 성능이 개선되지는 않는다.
• 외부 임베딩 없이 Text GCN은 긴 텍스트 데이터세트에서 여러 강력한 지도 학습 방법을 능가할 수 있으며, MR(짧은 텍스트)의 경우에는 간선의 제약과 단어 순서 모델링 부재로 덜 유리하다.