[論文レビュー] Be More with Less: Hypergraph Attention Networks for Inductive Text Classification

Kaize Ding, Jianling Wang+3 more|arXiv (Cornell University)|Nov 1, 2020

Topic Modeling参考文献 33被引用数 15

ひとこと要約

本稿では、文書レベルのハイパーグラフを用いて高次元の語の相互作用を捉えつつ計算コストを低減する、HyperGATと呼ばれるハイパーグラフ自己注意ネットワークを提案する。順序的および意味的ハイパーエッジの両方の自己注意メカニズムを活用することで、従来のGNNよりも優れた表現力と効率性を実現し、誘導的テキスト分類で最先端の性能を達成する。

ABSTRACT

Text classification is a critical research topic with broad applications in natural language processing. Recently, graph neural networks (GNNs) have received increasing attention in the research community and demonstrated their promising results on this canonical task. Despite the success, their performance could be largely jeopardized in practice since they are: (1) unable to capture high-order interaction between words; (2) inefficient to handle large datasets and new documents. To address those issues, in this paper, we propose a principled model -- hypergraph attention networks (HyperGAT), which can obtain more expressive power with less computational consumption for text representation learning. Extensive experiments on various benchmark datasets demonstrate the efficacy of the proposed approach on the text classification task.

研究の動機と目的

• 既存のグラフニューラルネットワークが2次関係を超える高次元の語の相互作用を捉えることの限界を解消すること。
• 大規模かつ動的なテキストデータセットにおけるテキスト表現学習における計算消費を低減すること。
• テストデータへのアクセスを訓練時に必要としないための誘導学習を可能にすること。
• 計算オーバーヘッドを増加させることなく表現力の高いモデルを体系的かつ整合的に構築すること。
• 順序的および意味的といった異種の文脈情報を統合的に統合したハイパーグラフ構造を用いて、より優れたテキスト表現を実現すること。

提案手法

• 各テキスト文書をハイパーグラフとしてモデル化し、複数の語を接続するハイパーエッジを用いて高次元の相互作用を表現する。
• 2種類のハイパーエッジを構築する：語の順序に基づく順序的ハイパーエッジと、語の分散表現に基づく意味的ハイパーエッジ。
• 二重自己注意メカニズムを設計する：ノードレベルの自己注意は各ハイパーエッジ内の語に重みを割り当て、エッジレベルの自己注意はハイパーエッジに重みを割り当てて選択的集約を実現する。
• 学習可能な自己注意パラメータを用いて、ハイパーグラフ内のメッセージ伝達の過程で情報量の多い語やハイパーエッジを動的に強調する。
• HyperGATブロックを複数層スタックすることで、長距離依存関係を捉え、複数ホップにわたる表現を豊かにする。
• テキスト分類のための交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練し、未学習の文書に対しても誘導的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフベースのモデリングは、三重項やそれ以上の高次元語の相互作用を捉えることで、テキスト表現の表現力を向上させることができるか？
• RQ2 テキスト分類において、標準的なグラフニューラルネットワークと比較して、ハイパーグラフ自己注意メカニズムは計算コストを低減できるか？
• RQ3 二重自己注意メカニズムは、情報量の多い語やハイパーエッジに焦点を当てる能力により、モデル性能を向上させることができるか？
• RQ4 提案されたモデルは、再訓練なしに新しい未学習の文書に一般化して効果的に機能するか、すなわち誘導学習をサポートできるか？
• RQ5 順序的ハイパーエッジと意味的ハイパーエッジは、最終的な表現品質にどのように異なる寄与をしているか？

主な発見

• HyperGATは複数のベンチマークデータセットで最先端の性能を達成し、20NGではテスト精度が0.8662 ± 0.0016を記録し、すべてのベースラインを大きく上回った。
• Ohsumedデータセットでは、テスト精度が0.9797 ± 0.0023を達成し、医療分野のテキスト分類において優れた性能を示した。
• アブレーションスタディの結果、二重自己注意メカニズムを削除すると性能が著しく低下し、表現力のある表現を学習するうえでその有効性が確認された。
• 順序的ハイパーエッジを削除すると、意味的ハイパーエッジを削除するよりも性能低下が顕著で、表現学習において順序構造がより重要であることが示された。
• t-SNE可視化により、HyperGATはテキストレベルGNNと比較して、より判別力があり、明確に分離された文書表現を学習していることが確認された。
• 自己注意可視化の結果、モデルは「player」「baseball」「win」を結ぶような意味のあるハイパーエッジを正しく同定し、それらに高い自己注意重みを割り当てていることがわかった。これにより、二重自己注意メカニズムの解釈可能性が裏付けられた。