[論文レビュー] Text Level Graph Neural Network for Text Classification

Lianzhe Huang, Dehong Ma+3 more|arXiv (Cornell University)|Oct 6, 2019

Topic Modeling参考文献 31被引用数 12

ひとこと要約

この論文は、各入力テキストに対して局所的な語のウィンドウを用いて個別のグラフを構築するテキストレベルグラフニューラルネットワーク（TL-GNN）を提案する。これにより、オンライン推論が可能になり、メモリ消費量が削減される。グローバルパラメータを共有し、小規模な文脈におけるエッジを介してメッセージパッシングを実行することで、コーパスレベルのGNNと比較して顕著に低いメモリ使用量で、テキスト分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Recently, researches have explored the graph neural network (GNN) techniques on text classification, since GNN does well in handling complex structures and preserving global information. However, previous methods based on GNN are mainly faced with the practical problems of fixed corpus level graph structure which do not support online testing and high memory consumption. To tackle the problems, we propose a new GNN based model that builds graphs for each input text with global parameters sharing instead of a single graph for the whole corpus. This method removes the burden of dependence between an individual text and entire corpus which support online testing, but still preserve global information. Besides, we build graphs by much smaller windows in the text, which not only extract more local features but also significantly reduce the edge numbers as well as memory consumption. Experiments show that our model outperforms existing models on several text classification datasets even with consuming less memory.

研究の動機と目的

• テキスト分類におけるコーパスレベルのグラフニューラルネットワークの限界、特に高いメモリ使用量とオンライン推論の非対応を解決すること。
• 全コーパスに依存しないテキスト単位のグラフ構築を可能にしつつ、グローバル情報を維持するGNNベースのモデルを開発すること。
• 小さなスライディングウィンドウ内で近隣の語に制限することで、エッジ数とメモリ消費量を削減すること。
• ストリーミングやオンラインテキスト分類の現場での実用的導入を念頭に、モデルの効率性とスケーラビリティを向上させること。

提案手法

• 各入力シーケンスに対して、ノードが語の埋め込みを表し、固定サイズpのウィンドウ内にある語同士を接続するエッジを持つテキストレベルのグラフを構築する。
• すべてのテキストレベルグラフにわたって語表現およびエッジ重みのグローバルパラメータを共有することで、パラメータの効率性と一括学習を実現する。
• 各ノードが局所ウィンドウ内の隣接ノードからの情報を集約して自身の表現を更新するメッセージパッシング機構を採用する。
• メッセージの最大プーリングを適用して、非線形的で識別的なノード表現を生成する。
• 共有されたグローバル埋め込み行列とエッジ重み行列を用い、レアエッジは「パブリック」エッジタイプにマッピングすることで学習の安定性を向上させる。
• 最終的なノード表現をグローバル平均プーリングによって集約し、分類用のテキストレベル表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 固定されたコーパスレベルのグラフ構造に依存せずに、オンライン推論をサポートするGNNベースのテキスト分類モデルを設計できるか？
• RQ2 大きな文脈や完全なグラフと比較して、語間接続を小さな局所ウィンドウに制限することで、性能とメモリ消費量にどのような影響を与えるか？
• RQ3 可学習なエッジ重みは、PMIのような固定で事前計算された重みと比較して、性能にどの程度寄与するか？
• RQ4 テキストレベルグラフ間でグローバルパラメータを共有することで、分類精度を維持または向上させつつ、メモリフットプリントを削減できるか？
• RQ5 メッセージの還元関数の選択（例：max対mean）がモデル性能にどのように影響するか？

主な発見

• TL-GNNはR8、R52、Ohsumedデータセットで最先端の性能を達成し、R8では97.8%、R52では94.6%の精度を記録した。
• 局所ウィンドウによるエッジ数の削減のおかげで、従来のコーパスレベルGNNと比較して顕著に低いメモリ使用量を実現した。
• 性能はp=3でピークに達しており、局所的文脈（3近傍）が最適であることを示している。より大きなウィンドウでは、局所特徴の感度が低下することで性能が劣化した。
• 可学習エッジ重みを削除してPMIで固定した場合、精度が0.6–1.0%低下した。これは学習可能な関係性の重要性を示している。
• 最大プーリングを平均プーリングに置き換えると性能が低下した。これは、最大プーリングが識別的特徴を強調する利点があることを裏付けている。
• 事前学習済み語埋め込みを削除すると、わずかではあるが測定可能な精度の低下が生じた。これは初期表現へのその貢献が肯定的であることを示している。