[論文レビュー] Higher-order Graph Convolutional Networks

John Boaz Lee, Ryan A. Rossi+4 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Graph Neural Networks参考文献 34被引用数 26

ひとこと要約

本稿では、1次近傍にとどまらない複雑なノード近傍を捉えるために重み付き多ホップモチーフ隣接行列を用いる、より高次のグラフニューラルネットワークであるモチーフ畳み込みネットワーク（MCN）を提案する。各ノードが局所的文脈に基づいて最も関連性の高いモチーフに基づく近傍を動的に選択できる学習可能なアテンション機構を導入することで、特に低ホモフィリーを示すグラフにおいて、半教師付きノード分類で最先端の性能を達成した。

ABSTRACT

Following the success of deep convolutional networks in various vision and speech related tasks, researchers have started investigating generalizations of the well-known technique for graph-structured data. A recently-proposed method called Graph Convolutional Networks has been able to achieve state-of-the-art results in the task of node classification. However, since the proposed method relies on localized first-order approximations of spectral graph convolutions, it is unable to capture higher-order interactions between nodes in the graph. In this work, we propose a motif-based graph attention model, called Motif Convolutional Networks (MCNs), which generalizes past approaches by using weighted multi-hop motif adjacency matrices to capture higher-order neighborhoods. A novel attention mechanism is used to allow each individual node to select the most relevant neighborhood to apply its filter. Experiments show that our proposed method is able to achieve state-of-the-art results on the semi-supervised node classification task.

研究の動機と目的

• グラフ畳み込みネットワーク（GCNs）が1次近傍近似に依存するため、高次のノード相互作用を捉えることが制限されているという問題に対処すること。
• 4パス、三角形、4クリークなどの多様なネットワークモチーフを組み込むことで、複雑または疎な局所構造を示すグラフにおける表現学習を改善できるかどうかを調査すること。
• ノードがその局所的文脈に基づいて、最も情報量の多いモチーフに基づく近傍を適応的に選択できる動的近傍選択メカニズムを開発すること。
• 従来のGCNやGATモデルが性能を発揮しない低ホモフィリーを示すベンチマークグラフ上で、提案手法の有効性を評価すること。
• 異なるグラフ領域でノードがどのように異なるモチーフを優先するかを可視化することで、アテンションメカニズムの解釈可能性を示すこと。

提案手法

• 予め定義されたネットワークモチーフ（例：エッジ、2スターバリエーション、三角形、4パス、3スターバリエーション、4サイクル、4クリーク）を用いて、重み付き多ホップモチーフ隣接行列を構築し、高次の近傍を定義する。
• 各ノードのメッセージパッシング中に、異なるモチーフ誘導型隣接行列に重みを割り当てる学習可能なアテンション機構を適用する。
• 分類精度の向上に基づいて報酬が与えられる行動（モチーフ選択）をとる強化学習を用いて、アテンション機構を訓練する。
• アテンション重み付きのモチーフ隣接行列の組み合わせを用いて、モチーフ固有の畳み込みを統合し、多様な近傍構造からの特徴集約を実現する。
• ReLU活性化関数を用いた2層のGCNスタイルアーキテクチャを採用し、ソフトマックス出力とし、早期停止および学習率、L2正則化、ドロップアウトのハイパーパrameterチューニングを実施する。
• ノード属性のないグラフでは、Weisfeiler-Lehmanアルゴリズムを用いてノード特徴を初期化し、入力表現に構造的文脈を符号化する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークモチーフによって定義される高次のグラフ構造は、1次近傍に依存するGCN手法を上回るノード分類性能を向上させることができるか？
• RQ2 複数のモチーフに基づく近傍から選択する学習可能なアテンション機構は、特に低ホモフィリーを示すグラフにおいて、より良い一般化性能をもたらすか？
• RQ3 グラフ内の異なるノードは、どのように異なるモチーフを優先するか？また、その選択は構造的役割（例：縁部対密集領域）と相関するか？
• RQ4 提案手法は、ラベルの不均衡と疎な接続性を示す困難なベンチマークで、GCN や GAT といった強力なベースラインを上回ることができるか？
• RQ5 アテンションメカニズムは解釈可能であるか？また、選択されたモチーフはノード近傍の関連性に関する直感的な期待と一致するか？

主な発見

• MCNはDD-6で12.4% ± 0.5、DD-7で13.1% ± 0.9のマイクロF1スコアを達成し、GCN（11.9% ± 0.6 と 12.4% ± 0.8）およびGAT（11.8% ± 0.5 と 11.8% ± 1.1）を上回り、低ホモフィリーを示すグラフにおいて優位性を示した。
• DD-6における最良のMCN設定では4パス・エッジモチーフが除外されたが、DD-7ではエッジ、三角形、4クリークモチーフのみをK=4で使用しており、タスク固有のモチーフの関連性が示された。
• Coraにおける可視化では、縁部ノードが広い近傍集約のために4パスモチーフを好むのに対し、密集領域のノードは強い局所的接続性を求めて三角形モチーフを好んだ。
• アテンションメカニズムによりノード間で異種のモチーフ選択が実現され、特定の1つのモチーフが支配的になることはなく、モデルの局所的構造変動への適応性が裏付けられた。
• 本手法はホモフィリーを示さないグラフにも一般化可能であり、コロケーションネットワーク（Cora, Citeseer, PubMed）およびバイオインフォマティクスグラフ（DD-6, DD-7）の両方で一貫した性能向上を示した。
• ノード特徴のWeisfeiler-Lehman初期化により、原始的なノード属性が存在しない状況でも効果的な表現学習が可能となり、属性なしグラフにおけるモデルの頑健性を支援した。