[논문 리뷰] Text Level Graph Neural Network for Text Classification

Lianzhe Huang, Dehong Ma외 3명|arXiv (Cornell University)|2019. 10. 06.

Topic Modeling참고 문헌 31인용 수 12

한 줄 요약

이 논문은 로컬 단어 윈도우를 사용해 각 입력 텍스트에 대해 개별 그래프를 구축하는 텍스트 레벨 그래프 신경망(TL-GNN)을 제안한다. 이는 온라인 추론을 가능하게 하고 메모리 소비를 줄인다. 전역 파라미터를 공유하고 작은 컨텍스트 간선을 통해 메시지 전달을 수행함으로써, 전체 코퍼스 수준의 GNN보다 훨씬 낮은 메모리 사용량으로도 텍스트 분류 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Recently, researches have explored the graph neural network (GNN) techniques on text classification, since GNN does well in handling complex structures and preserving global information. However, previous methods based on GNN are mainly faced with the practical problems of fixed corpus level graph structure which do not support online testing and high memory consumption. To tackle the problems, we propose a new GNN based model that builds graphs for each input text with global parameters sharing instead of a single graph for the whole corpus. This method removes the burden of dependence between an individual text and entire corpus which support online testing, but still preserve global information. Besides, we build graphs by much smaller windows in the text, which not only extract more local features but also significantly reduce the edge numbers as well as memory consumption. Experiments show that our model outperforms existing models on several text classification datasets even with consuming less memory.

연구 동기 및 목표

• 텍스트 분류에서 코퍼스 수준의 그래프 신경망의 한계, 특히 높은 메모리 사용량과 온라인 추론 지원 부족 문제를 해결하기 위해.
• 전체 코퍼스에 의존하지 않고도 개별 텍스트 그래프를 구축할 수 있도록 하면서도 전역 정보를 유지하는 GNN 기반 모델을 개발하기 위해.
• 작은 슬라이딩 윈도우 내의 가까운 단어들 간의 연결에 국한시켜 간선 수와 메모리 소비를 줄이기 위해.
• 스트리밍 또는 온라인 텍스트 분류 시나리오에서의 실세계 적용을 위한 모델의 효율성과 확장성 향상하기 위해.

제안 방법

• 입력 시퀀스 각각에 대해 텍스트 레벨 그래프를 구축하며, 노드는 단어 임베딩을 나타내고, 고정 크기 p의 윈도우 내의 단어들 간에 간선이 연결된다.
• 모든 텍스트 레벨 그래프 간에 단어 표현과 간선 가중치에 대한 전역 파라미터를 공유함으로써 파라미터 효율성과 공동 학습을 가능하게 한다.
• 메시지 전달 기반의 메커니즘을 적용하여 각 노드가 국소 윈도우 내의 이웃 노드들로부터 정보를 집계하여 표현을 갱신한다.
• 메시지의 최대 풀링을 적용하여 비선형적이고 구분력 있는 노드 표현을 생성한다.
• 공유된 전역 임베딩 행렬과 간선 가중치 행렬을 사용하며, 희귀 간선은 '공용' 간선 유형으로 매핑하여 학습을 안정화시킨다.
• 최종 노드 표현을 전역 평균 풀링을 통해 집계하여 분류를 위한 텍스트 레벨 표현을 생성한다.

실험 결과

연구 질문

• RQ1 고정된 코퍼스 수준 그래프 구조에 의존하지 않고도 온라인 추론을 지원하는 GNN 기반 텍스트 분류 모델을 설계할 수 있는가?
• RQ2 큰 컨텍스트 그래프에 비해 작은 국소 윈도우로 상호 단어 연결을 제한할 경우 성능과 메모리 소비에 어떤 영향을 미치는가?
• RQ3 고정된 사전 계산된 가중치(PMI 등)보다 학습 가능한 간선 가중치가 성능 향상에 얼마나 기여하는가?
• RQ4 텍스트 레벨 그래프 간 전역 파라미터 공유가 메모리 사용량을 줄이면서도 분류 정확도를 유지하거나 향상시키는가?
• RQ5 메시지 감소 함수의 선택(예: 최대 풀링 대 평균 풀링)이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• TL-GNN는 R8, R52, Ohsumed 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, R8에서 97.8%의 정확도와 R52에서 94.6%의 정확도를 기록했다.
• 로컬 윈도우 기반으로 간선 수가 감소함에 따라 이전의 코퍼스 수준 GNN보다 훨씬 낮은 메모리 소비를 기록했다.
• 성능이 p=3에서 최고로 나타나 국소 컨텍스트(3개의 이웃)가 최적임을 시사한다. 더 큰 윈도우는 국소 특징 감도를 상실함으로써 성능을 떨어뜨린다.
• 학습 가능한 간선 가중치를 제거하고 PMI로 고정할 경우 정확도가 0.6–1.0% 감소하여 학습 가능한 관계의 중요성을 입증한다.
• 최대 풀링 감소 기법을 평균 풀링으로 대체할 경우 성능 저하가 발생하여, 최대 풀링이 구분력 있는 특징을 강조하는 데 유리함을 확인한다.
• 사전 학습된 단어 임베딩을 제거할 경우 정확도가 약간이지만 측정 가능한 수준으로 떨어지며, 초기 표현에 대한 기여도를 시사한다.