[論文レビュー] Automorphic Equivalence-aware Graph Neural Network

Fengli Xu, Quanming Yao+2 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、学習可能なAE対応アグレゲータと部分グラフテンプレートを用いて、ノードの近傍における自己同型同値性（AE）を明示的にモデル化する、新しいGNN「GRAPE」を提案する。Ego-centered automorphic equivalence（Ego-AE）を導入し、遺伝的アルゴリズムを用いた部分グラフテンプレートの自動探索手法を設計。理論的にGRAPEの表現力の高さを証明し、実世界のグラフにおいてSOTA GNNと比較して最大26.7%の精度向上を達成した。

ABSTRACT

Distinguishing the automorphic equivalence of nodes in a graph plays an essential role in many scientific domains, e.g., computational biologist and social network analysis. However, existing graph neural networks (GNNs) fail to capture such an important property. To make GNN aware of automorphic equivalence, we first introduce a localized variant of this concept -- ego-centered automorphic equivalence (Ego-AE). Then, we design a novel variant of GNN, i.e., GRAPE, that uses learnable AE-aware aggregators to explicitly differentiate the Ego-AE of each node's neighbors with the aids of various subgraph templates. While the design of subgraph templates can be hard, we further propose a genetic algorithm to automatically search them from graph data. Moreover, we theoretically prove that GRAPE is expressive in terms of generating distinct representations for nodes with different Ego-AE features, which fills in a fundamental gap of existing GNN variants. Finally, we empirically validate our model on eight real-world graph data, including social network, e-commerce co-purchase network, and citation network, and show that it consistently outperforms existing GNNs. The source code is public available at https://github.com/tsinghua-fib-lab/GRAPE.

研究の動機と目的

• 既存のGNNがノード近傍における自己同型同値性（AE）を区別できないという根本的限界を解決すること。
• GNNの局所的メッセージパッシングメカニズムに適合するよう、AEの局所的変種である「Ego-centered automorphic equivalence（Ego-AE）」を考案すること。
• Ego-AE特徴に基づいてノード表現を区別できる、証明可能な表現力を有するGNNアーキテクチャ（GRAPE）を設計すること。
• 手作業による設計に依存しない、データ駆動型の部分グラフテンプレート自動探索手法を提案すること。
• ソーシャルネットワーク、キャイトレーションネットワーク、eコマース共購入グラフを含む多様な実世界グラフデータセットにおいて、一貫した性能向上を実証すること。

提案手法

• 部分グラフテンプレートを用いてノード近傍をマッピングし、グラフ自己同型を用いて近傍ノードをAE集合に分割することで、Ego-centered automorphic equivalence（Ego-AE）を定義する。
• 異なるEgo-AE集合に属する近傍ノードに異なる重みを割り当てる、学習可能なAE対応アグレゲータを設計し、構造的役割間の依存関係をモデル化する。
• squeeze-and-excitationモジュールを用いて複数のEgo-AE集合からの表現を統合し、複雑な構造的パターンを捉える。
• 選択、交差、突然変異を繰り返すことで、候補となるテンプレートを段階的に改善する遺伝的アルゴリズムを提案し、最適な部分グラフテンプレートを自動探索する。
• 部分グラフ同士の類似性を活用することで計算コストを低減するインクリメンタルアルゴリズムを用いて、部分グラフマッチングを高速化する。
• 理論的分析により、GRAPEが異なるEgo-AE特徴を有するノードに対して一意な表現を生成できることを証明し、標準的なMPNNの限界を克服できることを示した。

実験結果

リサーチクエスチョン

• RQ1 GNNがノード近傍における自己同型同値性を証明可能な表現力で区別できるか？
• RQ2 自己同型同値性をどのように局所化することで、GNNのインダクティブバイアスに適合させつつ構造的役割情報を保持できるか？
• RQ3 手作業による設計に依存せず、データ駆動型のアプローチで有効な部分グラフテンプレートを自動で発見できるか？
• RQ4 Ego-AE認識を組み込むことで、多様な実世界グラフデータセットで一貫した性能向上が達成できるか？
• RQ5 遺伝的アルゴリズムは、GNN性能の最適化に向けた部分グラフテンプレートの最適化において、効率的かつ効果的か？

主な発見

• GRAPEは、ソーシャルネットワーク、キャイトレーションネットワーク、eコマース共購入グラフを含む実世界データセットにおいて、既存のGNNと比較して最大26.7%の精度向上を達成した。
• Lehighデータセットでは、自動で探索されたテンプレートを用いたGRAPEが3000秒経過後に34.5%の精度に達し、最良のベースライン（BO+ESU）を1.5%上回り、手作業によるテンプレート性能に近づいた。
• インクリメンタルマッチングを用いた遺伝的アルゴリズムは、ベースラインのESUと比較してマッチング時間を最大96%短縮した。インクリメンタルマッチングでは24.0～134.3秒、ESUでは648.7～2592.0秒を要した。
• 事例研究では、GRAPEが社会的同調性（homophily）を効果的に捉えていることが示された。Ego-AE集合内の上位ラベルの45.3～46.0%がエゴノードのラベルと一致しており、構造的役割のモデル化が成功している。
• モデルの性能はデータセットにかかわらず安定しており、最適化時間3000秒経過後の精度はHamiltonで33.8%、Lehighで27.9%、Rochesterで25.6%、JHUで30.3%、Amherstで34.5%を達成した。
• 手作業による部分グラフテンプレートではLehighで22.6～26.1%の精度を示し、テンプレート設計の重要性を裏付け、自動探索の必要性を検証した。