[論文レビュー] Graph Neural Networks for Text Classification: A Survey

Kunze Wang, Yihao Ding+1 more|arXiv (Cornell University)|Apr 23, 2023

Topic Modeling参考文献 140被引用数 4

ひとこと要約

本サーベイは2023年までに発表されたグラフニューラルネットワーク（GNN）を用いたテキスト分類手法について包括的な概要を提供し、コーパスレベルとドキュメントレベルのGNNに分類する。グラフ構築技術、モデルアーキテクチャ、ベンチマーク性能を分析し、事前学習モデルとの統合や動的グラフ構造といった主な課題と今後の方向性を特定する。

ABSTRACT

Text Classification is the most essential and fundamental problem in Natural Language Processing. While numerous recent text classification models applied the sequential deep learning technique, graph neural network-based models can directly deal with complex structured text data and exploit global information. Many real text classification applications can be naturally cast into a graph, which captures words, documents, and corpus global features. In this survey, we bring the coverage of methods up to 2023, including corpus-level and document-level graph neural networks. We discuss each of these methods in detail, dealing with the graph construction mechanisms and the graph-based learning process. As well as the technological survey, we look at issues behind and future directions addressed in text classification using graph neural networks. We also cover datasets, evaluation metrics, and experiment design and present a summary of published performance on the publicly available benchmarks. Note that we present a comprehensive comparison between different techniques and identify the pros and cons of various evaluation metrics in this survey.

研究の動機と目的

• 2023年までに発表されたGNNベースのテキスト分類手法について包括的かつ最新のサーベイを提供すること。
• コーパスレベルおよびドキュメントレベルのGNNモデルを、サブカテゴリーやアーキテクチャ的洞察を含めて体系的に分類・比較すること。
• グラフ構築メカニズム（静的および動的エッジ形成を含む）とそのモデル性能への影響を分析すること。
• 20NG、R8、R52、Ohsumed、MRなどのデータセットにおける、公開済みのベンチマーク、評価指標、モデル性能を要約すること。
• 主な課題と今後の研究方向性（例：事前学習モデルとの統合、インダクティブ学習のスケーラビリティ）を特定すること。

提案手法

• GNNベースのテキスト分類を2つの主要なパラダイムに分類：コーパスレベルGNN（グローバル、トランスダクティブ）とドキュメントレベルGNN（ローカル、インダクティブ）。
• コーパスレベルおよびドキュメントレベルの両方のグラフにおける、類似度ベース、係り受け解析、アテンションベースのエッジ生成を含む、グラフ構築技術をレビューする。
• TG-Transformer、HyperGAT、TextING、TextSSLなどのモデルアーキテクチャを分析し、メッセージパッシング機構とグラフプーリング戦略に焦点を当てる。
• 20NG、R8、R52、Ohsumed、MRなどの広く使われているベンチマークで、標準的な指標（正確度、F1、マクロF1）を用いてモデル間の性能を比較する。
• 外部リソース（例：GloVe、BERT、RoBERTa）の使用がモデルの正確度および一般化性能に与える影響を評価する。
• 現在のアプローチの制限事項（静的エッジに依存していること、コーパスレベルGNNにおけるスケーラビリティの問題）を議論し、動的および異種グラフ拡張の提案を行う。

実験結果

リサーチクエスチョン

• RQ1 コーパスレベルGNNとドキュメントレベルGNNは、テキスト分類におけるグラフ構築と学習メカニズムでどのように異なるか？
• RQ2 GNNベースのテキスト分類において、事前学習語彙埋め込み（例：GloVe）と大規模言語モデル（例：BERT）を用いることで性能にどのような影響があるか？
• RQ3 なぜコーパスレベルGNNはトピック分類データセットでは一般にドキュメントレベルGNNを上回るが、MRのようなセンチメント分析データセットではそうではないのか？
• RQ4 特にエッジのダイナミクスとハイパーグラフモデリングに関して、GNNのテキスト分類におけるグラフ構築の主な課題は何か？
• RQ5 GNNを事前学習モデルおよびインダクティブ学習と効果的に統合することで、スケーラビリティと実世界への展開をどのように向上させられるか？

主な発見

• トランスダクティブ学習とグローバルなグラフ構造を用いるコーパスレベルGNNモデルは、20NG、R8、R52などのトピック分類データセットで一般にドキュメントレベルGNNを上回る性能を示す。
• MRセンチメント分析データセットでは、語順の重要性が顕著であるため、ドキュメントレベルGNNがコーパスレベルモデルと同等またはそれ以上の性能を発揮する。コーパスレベルモデルはこの点を捉えきれていないことが多い。
• BERTやRoBERTaを用いたモデルは、最先端の性能を達成しており、TextINGはR8で98.13%、MRで80.19%の正確度を達成し、GloVeベースのモデルを大きく上回っている。
• GloVe埋め込みを用いたコーパスレベルGNNは20NGで97.93%の正確度を達成するが、ドキュメントレベルモデルのTextINGも同様のデータセットで97.8%の正確度を達成しており、事前学習なしでも高い性能を示している。
• グラフ構築における動的エッジまたはハイパーエッジの使用は、複雑な語およびドキュメント間関係のモデリングを向上させることができるが、現在の多くは静的で統計に基づくエッジに依存している。
• 強力な性能を発揮しているものの、コーパスレベルGNNは大容量メモリ要件とインクリメンタル学習のサポート欠如により、スケーラビリティとデプロイメントの面で課題を抱えており、より効率的なインダクティブバージョンの開発が求められている。