[論文レビュー] Graph Neighborhood Attentive Pooling

Zekarias T. Kefato, Šarūnas Girdzijauskas|arXiv (Cornell University)|Jan 28, 2020

Advanced Graph Neural Networks参考文献 25被引用数 5

ひとこと要約

本稿では、テキスト特徴量やコミュニティ検出を必要とせず、ノードの近傍部の異なる部分に注目するアテンションメカニズムを用いて、文脈に応じたノード表現を学習する文脈感受型グラフニューラルネットワークGapを提案する。リンク予測およびノードクラスタリングのタスクにおいて、最先端の性能を達成しており、それぞれ9%および20%の向上を達成した。また、類似のアテンションベースのモデルと比較して2倍以上高速に学習が可能である。

ABSTRACT

Network representation learning (NRL) is a powerful technique for learning low-dimensional vector representation of high-dimensional and sparse graphs. Most studies explore the structure and metadata associated with the graph using random walks and employ an unsupervised or semi-supervised learning schemes. Learning in these methods is context-free, because only a single representation per node is learned. Recently studies have argued on the sufficiency of a single representation and proposed a context-sensitive approach that proved to be highly effective in applications such as link prediction and ranking. However, most of these methods rely on additional textual features that require RNNs or CNNs to capture high-level features or rely on a community detection algorithm to identify multiple contexts of a node. In this study, without requiring additional features nor a community detection algorithm, we propose a novel context-sensitive algorithm called GAP that learns to attend on different parts of a node's neighborhood using attentive pooling networks. We show the efficacy of GAP using three real-world datasets on link prediction and node clustering tasks and compare it against 10 popular and state-of-the-art (SOTA) baselines. GAP consistently outperforms them and achieves up to ~9% and ~20% gain over the best performing methods on link prediction and clustering tasks, respectively.

研究の動機と目的

• グラフ表現学習における文脈フリーなノード表現の限界を解決すること。
• テキスト特徴量やコミュニティ検出アルゴリズムに依存しない文脈感受型アプローチを開発すること。
• グラフ構造のみを用いて、リンク予測およびノードクラスタリングタスクの性能を向上させること。
• エンコーダフェーズの削除によるアテンティブプーリングネットワーク（apn）の簡素化により、学習を高速化すること。

提案手法

• Gapは、各ノードの近傍を固定サイズの順序付けられたシーケンスとして構築する近傍関数を用いる。順序は任意とみなされる。
• テキスト的特徴量が存在しないため、エンコーダフェーズを省略した、アテンティブプーリングネットワーク（apn）を模倣したアテンションメカニズムを適用する。
• ソースノードとコンテキストノード間の相互アテンションメカニズムを用いて、近傍特徴量に対するソフトアテンションを計算する。
• アテンションアライメント行列に対して、列方向および行方向のプーリングを実行し、文脈に応じた表現を生成する。
• 学習されたアテンションベクトルを用いた重み付き和により、最終的な表現を取得する。
• リンク予測およびクラスタリングのための対照的損失目的関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 テキスト特徴量やコミュニティ検出に依存しない文脈感受型グラフ表現学習手法は、最先端の性能を達成できるか？
• RQ2 apnアーキテクチャからエンコーダを削除しても、グラフ近傍部に適用した場合に性能が低下するか？
• RQ3 グラフ近傍部へのアテンションのみで、文脈フリーまたは特徴量依存の手法よりも優れた性能が得られるか？
• RQ4 提案された簡素化が、学習速度およびスケーラビリティに与える影響は何か？

主な発見

• Gapは、3つの実世界データセットにおいて、リンク予測タスクで最良のベースライン比で最大9%の相対的向上を達成した。
• Gapは、ノードクラスタリングタスクで最良のベースライン比で最大20%の相対的向上を達成した。
• エンコーダフェーズの削除により、テキスト特徴量を用いたapnベースの手法と比較して、学習が2倍以上高速に実行された。
• アブレーションスタディの結果、相互アテンションメカニズムが不可欠であることが確認された。フィードフォワードネットワーク（GapMlp）に置き換えると、性能が著しく低下した。
• ドロップアウト率が0.95にまで高められても、モデルは依然として頑健であった。これは、簡素化されたアーキテクチャがエンコーダベースのバージョンよりも過学習を抑制できていることを示している。
• エンコーダベースのバージョン（GapCn、GapApn）では、カーネルサイズが大きくなると性能が低下した。これは、高レベルの近傍パターンがエッジ予測には有益でないことを示唆している。