[論文レビュー] Recursive Graphical Neural Networks for Text Classification

Wei Li, Shuheng Li+4 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 30被引用数 11

ひとこと要約

本稿では、LSTMを用いて隣接ノード情報の集約を動的に制御する、テキストグラフモデリングにおける過剰平滑化問題を軽減する新しいGNNアーキテクチャ、Recursive Graphical Neural Networks (ReGNN) を提案する。注意メカニズムを用いた隣接ノード集約とグローバルなグラフレベルのノードを統合することで、単一およびマルチラベルテキスト分類ベンチマークで最先端の性能を達成し、強力なベースラインを著しく上回り、過剰平滑化に対して高い頑健性を示している。

ABSTRACT

The complicated syntax structure of natural language is hard to be explicitly modeled by sequence-based models. Graph is a natural structure to describe the complicated relation between tokens. The recent advance in Graph Neural Networks (GNN) provides a powerful tool to model graph structure data, but simple graph models such as Graph Convolutional Networks (GCN) suffer from over-smoothing problem, that is, when stacking multiple layers, all nodes will converge to the same value. In this paper, we propose a novel Recursive Graphical Neural Networks model (ReGNN) to represent text organized in the form of graph. In our proposed model, LSTM is used to dynamically decide which part of the aggregated neighbor information should be transmitted to upper layers thus alleviating the over-smoothing problem. Furthermore, to encourage the exchange between the local and global information, a global graph-level node is designed. We conduct experiments on both single and multiple label text classification tasks. Experiment results show that our ReGNN model surpasses the strong baselines significantly in most of the datasets and greatly alleviates the over-smoothing problem.

研究の動機と目的

• テキスト分類に適用された際のグラフニューラルネットワークにおける過剰平滑化問題に対処すること。
• RNN や CNN が達成できる範囲を超えて、テキストシーケンスにおける長距離依存関係とグローバルな文脈をモデル化すること。
• 文レベルのグローバルな文脈とローカルな語の表現との間の情報フローを、グラフレベルのノードを通じて強化すること。
• LSTMに基づくゲーティングを用いて、選択的にノード表現を更新する動的な再帰的メッセージパッシング機構を構築すること。
• 単一およびマルチラベル設定の両方で、標準的なテキスト分類ベンチマークにおいてReGNNの有効性を実証的に検証すること。

提案手法

• 語の共起情報に基づいてテキストグラフを構築し、トークン間の構文的および意味的関係を表現する。
• 関連性に応じて重み付けされた隣接ノード表現を計算するための注目メカニズムを採用する。
• 集約された隣接ノード情報のフィルタリングを通じて、LSTMユニットがノード隠れ状態の更新を動的に制御する。
• すべての語ノードからの情報を集約し、それらと相互作用することでグローバルな認識を高めるグローバルなグラフレベルのノードを導入する。
• LSTMゲートが表現の崩壊を防ぐように、複数層にわたる再帰的メッセージパッシングを適用する。
• 分類のための最後のプーリングによるノード表現の集約を実施し、バックプロパゲーションによるエンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 LSTMに基づくゲーティング機構は、テキスト分類のための深層グラフニューラルネットワークにおける過剰平滑化を効果的に軽減できるか？
• RQ2 グローバルなグラフレベルのノードの導入は、テキストグラフにおける表現学習をどのように向上させるか？
• RQ3 提案されたReGNNモデルは、単一およびマルチラベルテキスト分類タスクの両方で強力なベースラインを上回るか？
• RQ4 注目ベースの隣接ノード集約は、テキストグラフにおける長距離依存関係のモデリングをどの程度向上させるか？
• RQ5 GCN や GraphSAGE といった標準的なGNNと比較して、提案アーキテクチャは表現の安定性および正確性において優れているか？

主な発見

• ReGNNはR52およびReuters21578データセットで最先端の性能を達成し、R52では95.29%、Reuters21578では82.01%の精度を記録した。
• アブレーションスタディの結果、LSTM部を削除すると性能が著しく低下（R52で95.29%から84.74%に）し、過剰平滑化の緩和においてその重要性が確認された。
• グローバルノードを含めないモデルは性能が劣る（R52で93.85%）、グローバルコンテキストの統合が表現品質の向上に寄与していることが示された。
• 注目メカニズムの削除により精度が94.39%に低下（R52）し、選択的で効果的な情報集約におけるその重要性が裏付けられた。
• 注目ヒートマップの可視化により、モデルが関連語（例：ラベル「grain」に対して「wheat」）を正しく注目していることが確認され、均一な注目への崩壊は発生していない。
• コサイン距離解析の結果、GCN や GraphSAGE と比較して、ReGNNは層を跨ぐ際のノード表現の多様性をより高く維持しており、過剰平滑化の有効な緩和が確認された。