[論文レビュー] Do We Need Anisotropic Graph Neural Networks?

Shyam A. Tailor, Felix L. Opolka+2 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、GAT や PNA といった非等方的モデルを凌駂数個の多様なベンチマークで上回る、等方的グラフニューラルネットワークである効率的グラフ畳み込み（EGC）を提案する。空間的に変化する適応フィルタを用いることで、EGC は O(E) の非等方的モデルよりも低いメモリ（O(V)）と遅延でより高い精度を達成し、性能向上には非等方性が不可欠であるという一般的な信念に挑戦する。

ABSTRACT

Common wisdom in the graph neural network (GNN) community dictates that anisotropic models -- in which messages sent between nodes are a function of both the source and target node -- are required to achieve state-of-the-art performance. Benchmarks to date have demonstrated that these models perform better than comparable isotropic models -- where messages are a function of the source node only. In this work we provide empirical evidence challenging this narrative: we propose an isotropic GNN, which we call Efficient Graph Convolution (EGC), that consistently outperforms comparable anisotropic models, including the popular GAT or PNA architectures by using spatially-varying adaptive filters. In addition to raising important questions for the GNN community, our work has significant real-world implications for efficiency. EGC achieves higher model accuracy, with lower memory consumption and latency, along with characteristics suited to accelerator implementation, while being a drop-in replacement for existing architectures. As an isotropic model, it requires memory proportional to the number of vertices in the graph ($\mathcal{O}(V)$); in contrast, anisotropic models require memory proportional to the number of edges ($\mathcal{O}(E)$). We demonstrate that EGC outperforms existing approaches across 6 large and diverse benchmark datasets, and conclude by discussing questions that our work raise for the community going forward. Code and pretrained models for our experiments are provided at https://github.com/shyam196/egc.

研究の動機と目的

• 最先端の性能を達成するには非等方的 GNN が不可欠であるという広く共有された信念に挑戦すること。
• 非等方的モデルと同等またはそれを上回る精度を達成しながら、効率性を向上させる等方的 GNN アーキテクチャを設計すること。
• 性能を損なわずに、O(E) から O(V) にメモリと遅延を削減できることを示すこと。
• 既存の GNN レイヤーの即時置換として機能し、リソース効率と精度に優れた代替手段を提供すること。
• 等方的モデルの可能性を踏まえて、コミュニティがベンチマークデータセットやモデル設計原理を再考するよう促すこと。

提案手法

• 空間的に変化する適応フィルタを用いてノード固有の集約重みを学習する、等方的 GNN である効率的グラフ畳み込み（EGC）を提案する。
• メッセージパッシング機構を採用し、メッセージは常に送信元ノードに依存するため、O(E) ではなく O(V) のメモリ消費が可能になる。
• 局所的なグラフ構造に基づいて適応する学習可能なフィルタ機構を導入し、非等方的メッセージ関数を用いずに表現力を向上させる。
• EGC レイヤーに空間的およびスペクトル的解釈を可能にし、既存の GNN 理論に根ざした基盤を提供する。
• 推論時にアグレゲータ統合を可能にし、わずか 14% の追加オーバーヘッドで遅延をさらに低減する。
• PyTorch Geometric を含む既存の GNN フレームワークとシームレスに統合され、即時置換として利用可能である。

実験結果

リサーチクエスチョン

• RQ1 非等方的メッセージ関数に依存せずに、等方的 GNN が最先端の性能を達成できるか？
• RQ2 非等方的 GNN が示す O(E) のメモリと遅延のオーバーヘッドは、実世界のシナリオで性能向上に見合うものか？
• RQ3 等方的フレームワーク内での適応的かつ空間的に変化するフィルタが、非等方的モデルの表現力と同等またはそれを上回れるか？
• RQ4 特に同型性の高いグラフを含む実世界のグラフは、非等方的モデルの理論的表現力からどの程度恩恵を受けるか？
• RQ5 アーキテクチャの革新のみで、精度を損なわず大幅な効率改善が可能か？

主な発見

• EGC は、誘導的および非誘導的設定を含む 6 つのベンチマークデータセットすべてで GAT や PNA を上回り、すべてのタスクで高い精度を達成した。
• Arxiv データセットでは、EGC-M は 4.068M パラメータで 84.7% の精度を達成したのに対し、PNA は 14.533M パラメータで 89.3% の精度を記録し、パラメータ効率の優位性が示された。
• Arxiv において、EGC-M は PNA よりも最大 6.5 倍のメモリ消費削減と最大 6.7 倍の遅延削減を達成した。これは O(V) のメモリスケーリングと O(E) の対比によるものである。
• EGC はすべてのベースラインより低い推論遅延とメモリ使用量を達成し、GPU および CPU 測定結果から顕著な効率性の向上が確認された。
• アグレゲータ統合により、性能を維持したまま推論オーバーヘッドをわずか 14% に抑え、最小限のコストで実用的導入が可能となった。
• EGC は PyTorch Geometric にアップストリーム統合され、実用的妥当性と既存の GNN エコシステムへの互換性が裏付けられた。