[論文レビュー] GeniePath: Graph Neural Networks with Adaptive Receptive Paths

Ziqi Liu, Chaochao Chen+5 more|arXiv (Cornell University)|Feb 3, 2018

Advanced Graph Neural Networks参考文献 21被引用数 47

ひとこと要約

GeniePath は、グラフ上で適応的な受容パスを学習することで、重要な隣接ノードを選ぶ幅と、どの程度伝播させるかの深さを同時にモデル化し、転置・誘導の両設定において大規模グラフで最先端の成果を達成します。

ABSTRACT

We present, GeniePath, a scalable approach for learning adaptive receptive fields of neural networks defined on permutation invariant graph data. In GeniePath, we propose an adaptive path layer consists of two complementary functions designed for breadth and depth exploration respectively, where the former learns the importance of different sized neighborhoods, while the latter extracts and filters signals aggregated from neighbors of different hops away. Our method works in both transductive and inductive settings, and extensive experiments compared with competitive methods show that our approaches yield state-of-the-art results on large graphs.

研究の動機と目的

• 動機: 固定された近傍ではなく、適応的でデータ駆動の受容パスを学習することにより、グラフニューラルネットワークを改善する。
• 目標: 器用に近傍の幅と深さを探索できるパージョン不変な適応的パス層を設計する。
• 狙い: 転置・誘導設定の両方で大規模グラフにおいて最先端の性能を達成する。

提案手法

• 適応的幅関数と適応的深さ関数の二つの成分を持つ適応的パス層を提案する。隣接一歩の重要度を割り当てる適応的幅関数と、複数ホップにわたる信号を抽出・選別する適応的深さ関数。
• 不変性を満たす集約を f({h_j}) = ρ(Σ_j φ(h_j)) に従って定義し、近傍操作の不変性を保証する。
• 適応的幅を一般化線形アテンション α(x,y) = softmax_y(v^T tanh(W_s^T x + W_d^T y)) で実装する。
• 適応的深さをゲート付きメモリ機構（LSTM様）として実装し、伝播ステップごとに各ノードのメモリ C_i を更新する。ゲート i, f, o および候補 tC で信号の流れを制御する。
• GeniePath と GeniePath-lazy の二つの変種を提供する。GeniePath は深さを順次評価し、GeniePath-lazy は深さ評価を遅延させ、深さフィルタリングを適用する前に T ホップにわたる幅の手掛かりを使用する。
• 計算効率を確保するため、L および R の補助的な疎行列を用いたエッジ上のアテンションを定式化し、計算量をエッジ数に対して線形に保つ。

実験結果

リサーチクエスチョン

• RQ1 適応的な幅と深さの関数は、固定近傍スキームを超えて意味のある受容パスをグラフで学習できるか？
• RQ2 適応的受容パスは、既存の GNN と比較して転置・誘導の両方のタスクで性能を向上させるか？
• RQ3 GeniePath は過度の平滑化や性能低下を招くことなく深い伝播をどのように扱うか？
• RQ4 学習された受容パスと従来のグラフラプラシアンに基づく隣接重要度との定性的な違いは何か？

主な発見

• GeniePath は転置・誘導の設定で、いくつかの大規模グラフベンチマークで競争力があり、または最先端の結果を達成している。
• Pubmed、BlogCatalog（2バリアント）、Alipay（転置的）で GeniePath は強力なベースライン（GCN、GraphSAGE、GAT など）に匹敵するか超える。
• 誘導的 PPI 設定では GeniePath が Micro-F1 0.979 を達成し、GraphSAGE および GCN のベースラインを上回る。
• GeniePath-lazy 変種はさらなる性能向上を示し、残差変種を用いた場合に PPI で Micro-F1 が最大 0.985 に達した。
• GeniePath は深い層積み込みに対して感度が低く、深さが増しても堅牢な性能を示すのに対し、いくつかのベースラインはそうではない。
• 定性的分析では、GeniePath が疎で意味のある受容パス（重要度が高いと推定されるエッジ）を学習する一方で、グラフラプラシアンに基づく方法からは密なパターンが見られる。