[論文レビュー] Improving Textual Network Embedding with Global Attention via Optimal Transport

Li‐Qun Chen, Guoyin Wang+7 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 51被引用数 6

ひとこと要約

本稿では、テキストネットワークにおけるスパースで自己正規化され、グローバルに注意を払うテキストマッチングを最適輸送を活用して実現する、GANEと呼ばれるグローバルアテンションネットワーク埋め込みモデルを提案する。最適輸送に基づくアテンションとハイレベルなパースィング機構を統合することで、GANEは長距離依存関係のモデリングを向上させ、複数のデータセットにおいてリンク予測およびマルチラベルノード分類の最先端手法を上回る性能を発揮する。

ABSTRACT

Constituting highly informative network embeddings is an important tool for network analysis. It encodes network topology, along with other useful side information, into low-dimensional node-based feature representations that can be exploited by statistical modeling. This work focuses on learning context-aware network embeddings augmented with text data. We reformulate the network-embedding problem, and present two novel strategies to improve over traditional attention mechanisms: ($i$) a content-aware sparse attention module based on optimal transport, and ($ii$) a high-level attention parsing module. Our approach yields naturally sparse and self-normalized relational inference. It can capture long-term interactions between sequences, thus addressing the challenges faced by existing textual network embedding schemes. Extensive experiments are conducted to demonstrate our model can consistently outperform alternative state-of-the-art methods.

研究の動機と目的

• 既存の文脈に配慮したネットワーク埋め込み手法における限界、特に密なアテンション行列とシーケンスレベルのグローバルモデリングの欠如を解決すること。
• 最適輸送に基づく一貫性のあるアテンション機構を導入することで、テキストネットワーク埋め込みにおける関係推論とノイズ抑制を向上させること。
• ハイレベルなアテンションパースィングモジュールを用いて、テキストシーケンス間の長期的相互作用モデリングを可能とすること。
• 既存のネットワーク埋め込み定式化を一般化・明確化するため、再生成ヒルベルト空間内に統一されたフレームワークを構築すること。

提案手法

• 再生成ヒルベルト空間（RKHS）におけるネットワーク埋め込みの新規定式化を提案し、既存のアプローチを一般化・統一する。
• テキストシーケンス間のスパースで自己正規化されたアテンション行列を計算する、最適輸送に基づくコンテンツに配慮したスパースアテンションモジュールを導入する。
• 低レベルのアテンション出力を処理するハイレベルなアテンションパースィング機構を採用し、長距離依存関係のモデリングと関係推論を可能とする。
• アテンション行列の処理に可学習フィルタを備えた畳み込み層を用い、n-gramレベルの相互作用を捉える。
• t-SNE可視化とアテンション行列の比較を通じて、学習されたアテンションのスパarsityと意味的妥当性を定性的に検証する。
• ノード埋め込みとテキスト表現を統一された目的関数により同時に最適化することで、エンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づくアテンションは、従来の類似度ベースの手法と比較して、テキストネットワーク埋め込みにおいてよりスパースで情報量の多いアテンション行列を生成できるか？
• RQ2 ハイレベルなアテンションパースィング機構は、ネットワーク埋め込みにおけるテキストシーケンス間の長距離相互作用モデリングを向上させることができるか？
• RQ3 提案されたグローバルアテンション機構は、局所的・ペairワイズアテンションと比較して、文脈に配慮したノード表現をどのように捉えられるか？
• RQ4 最適輸送とアテンションパースィングの統合は、リンク予測やノード分類といった下流タスクのパフォーマンスをどの程度向上させるか？
• RQ5 低データ環境下でもモデルは頑健であるか？また、訓練サンプルの増加に伴い性能が向上するか？

主な発見

• GANE-APは、70%の訓練ラベルを用いたCoraデータセットにおけるマルチラベルノード分類で、88.5%のマクロF1スコアを達成し、WANE（88.1%）およびDMTE（87.9%）を上回った。
• リンク予測において、GANE-OTおよびGANE-APは常にすべてのベースラインを上回り、特に訓練サンプルが少ない環境下で性能差が拡大した。
• 最適輸送に基づくアテンション機構は、自然にスパースなアテンション行列を生成したのに対し、ドット積アテンション（例：WANE）では密な行列が得られた。これは、優れたノイズ抑制を示している。
• t-SNE可視化では、トレーニング時にラベル情報を使用しない状態でも、GANE-OT埋め込みはラベルごとに明確にクラスタリングされており、効果的な表現学習を示している。
• アブレーションスタディの結果、n-gram長さが約20のときリンク予測におけるAUC性能が最大値に達し、中程度のアテンションスパンが最適であると示唆された。
• アテンションパースィング機構（GANE-AP）は、ベースのOTアテンションモデル（GANE-OT）よりも性能を向上させた。これは、関係推論と文脈化におけるその価値を裏付けている。