[논문 리뷰] Graph Neural Networks for Text Classification: A Survey

Kunze Wang, Yihao Ding외 1명|arXiv (Cornell University)|2023. 04. 23.

Topic Modeling참고 문헌 140인용 수 4

한 줄 요약

이 종합 검토는 2023년까지의 그래프 신경망(GNN) 기반 텍스트 분류 방법에 대한 포괄적인 개요를 제공하며, 코퍼스 수준 및 문서 수준 GNN으로 분류한다. 그래프 구축 기법, 모델 아키텍처, 벤치마크 성능를 분석하고, 사전 훈련된 모델과 동적 그래프 구조와의 통합을 포함한 주요 과제와 향후 방향을 규명한다.

ABSTRACT

Text Classification is the most essential and fundamental problem in Natural Language Processing. While numerous recent text classification models applied the sequential deep learning technique, graph neural network-based models can directly deal with complex structured text data and exploit global information. Many real text classification applications can be naturally cast into a graph, which captures words, documents, and corpus global features. In this survey, we bring the coverage of methods up to 2023, including corpus-level and document-level graph neural networks. We discuss each of these methods in detail, dealing with the graph construction mechanisms and the graph-based learning process. As well as the technological survey, we look at issues behind and future directions addressed in text classification using graph neural networks. We also cover datasets, evaluation metrics, and experiment design and present a summary of published performance on the publicly available benchmarks. Note that we present a comprehensive comparison between different techniques and identify the pros and cons of various evaluation metrics in this survey.

연구 동기 및 목표

• 2023년까지 출판된 GNN 기반 텍스트 분류 방법에 대한 포괄적이고 최신의 종합 검토를 제공하는 것.
• 코퍼스 수준 및 문서 수준 GNN 모델을 하위 카테고리와 아키텍처 통찰을 포함해 체계적으로 분류하고 비교하는 것.
• 정적 및 동적 엣지 형성 방식을 포함한 그래프 구축 메커니즘과 그 모델 성능에 미치는 영향을 분석하는 것.
• 20NG, R8, R52, Ohsumed, MR 등의 데이터셋에서 공개된 벤치마크, 평가 지표 및 모델 성능를 요약하는 것.
• 사전 훈련된 모델과의 통합 및 인덕티브 학습의 확장성과 같은 열린 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• GNN 기반 텍스트 분류를 두 가지 주요 패러다임으로 분류: 코퍼스 수준 GNN(전역, 전도적)과 문서 수준 GNN(국소, 인덕티브).
• 코퍼스 수준 및 문서 수준 그래프 모두에 적용 가능한 유사도 기반, 의존성 구문 분석, 주의 기반 엣지 생성을 포함한 그래프 구축 기법을 검토.
• 메시지 전달 메커니즘과 그래프 풀링 전략에 중점을 둔 TG-Transformer, HyperGAT, TextING, TextSSL 등의 모델 아키텍처를 분석.
• 20NG, R8, R52, Ohsumed, MR 등의 널리 사용되는 벤치마크에서 정확도, F1, 매크로-F1 등의 표준 지표를 사용해 모델 간 성능을 비교.
• 외부 자원(GloVe, BERT, RoBERTa 등)의 사용이 모델 정확도와 일반화 능력에 미치는 영향을 평가.
• 정적 엣지 의존성과 코퍼스 수준 GNN의 확장성 문제 등의 현재 접근 방식의 한계를 논의하고, 동적 및 이질적 그래프 확장 방안을 제안.

실험 결과

연구 질문

• RQ1 코퍼스 수준 및 문서 수준 GNN은 텍스트 분류를 위한 그래프 구축 방식과 학습 메커니즘에서 어떻게 다릅니까?
• RQ2 GloVe와 같은 사전 훈련된 단어 임베딩과 BERT와 같은 대규모 언어 모델을 사용할 경우, GNN 기반 텍스트 분류에서 성능에 어떤 영향을 미치나요?
• RQ3 왜 코퍼스 수준 GNN은 주제 분류 데이터셋에서는 문서 수준 GNN보다 일반적으로 성능이 뛰어나지만, MR과 같은 감성 분석 데이터셋에서는 그렇지 않은가요?
• RQ4 특히 엣지 역동성과 초그래프 모델링 측면에서, GNN의 텍스트 분류를 위한 그래프 구축에서의 주요 과제는 무엇인가요?
• RQ5 GNN은 어떻게 사전 훈련된 모델과 인덕티브 학습을 효과적으로 통합하여 확장성과 실세계 구현을 향상시킬 수 있나요?

주요 결과

• 전도적 학습과 전역 그래프 구조를 사용하는 코퍼스 수준 GNN 모델은 20NG, R8, R52와 같은 주제 분류 데이터셋에서 일반적으로 문서 수준 GNN보다 성능이 뛰어나다.
• MR 감성 분석 데이터셋에서는 문서 수준 GNN이 코퍼스 수준 모델과 유사하거나 더 나은 성능을 보이며, 이는 단어 순서의 중요성이 높기 때문이다. 코퍼스 수준 모델은 이 요소를 자주 간과한다.
• BERT나 RoBERTa를 사용하는 모델은 최고 성능을 기록하며, TextING는 R8에서 98.13%의 정확도와 MR에서 80.19%의 정확도를 기록하여 GloVe 기반 모델보다 뚜렷이 뛰어나다.
• GloVe 임베딩을 사용하는 코퍼스 수준 GNN은 20NG에서 97.93%의 정확도를 기록했고, 문서 수준 모델인 TextING는 동일한 데이터셋에서 97.8%의 정확도를 기록하여 사전 훈련 없이도 뛰어난 성능를 보였다.
• 그래프 구축에서 동적 또는 초엣지(hyperedges)를 사용하면 복잡한 단어 및 문서 간 관계를 더 잘 모델링할 수 있으나, 대부분의 현재 모델은 정적이고 통계 기반의 엣지에 의존한다.
• 강력한 성능에도 불구하고 코퍼스 수준 GNN은 큰 메모리 요구량과 증분 학습 지원 부족으로 인해 확장성과 구현 과제를 겪고 있어, 더 효율적인 인덕티브 변종 개발이 시급하다.