[論文レビュー] Diffusion Improves Graph Learning

Johannes Gasteiger, Stefan Weißenberger+1 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks被引用数 175

ひとこと要約

Graph diffusion convolution (GDC) は、疎化された一般化グラフ拡散を用いて学習のためのより豊かで局所化された近隣を作り、さまざまな GNN およびグラフモデルで一貫した改善をもたらします。空間的アプローチとスペクトル的アプローチを橋渡しし、オーバーヘッドを最小限に抑えたプラグアンドプレイを実現します。

ABSTRACT

Graph convolution is the core of most Graph Neural Networks (GNNs) and usually approximated by message passing between direct (one-hop) neighbors. In this work, we remove the restriction of using only the direct neighbors by introducing a powerful, yet spatially localized graph convolution: Graph diffusion convolution (GDC). GDC leverages generalized graph diffusion, examples of which are the heat kernel and personalized PageRank. It alleviates the problem of noisy and often arbitrarily defined edges in real graphs. We show that GDC is closely related to spectral-based models and thus combines the strengths of both spatial (message passing) and spectral methods. We demonstrate that replacing message passing with graph diffusion convolution consistently leads to significant performance improvements across a wide range of models on both supervised and unsupervised tasks and a variety of datasets. Furthermore, GDC is not limited to GNNs but can trivially be combined with any graph-based model or algorithm (e.g. spectral clustering) without requiring any changes to the latter or affecting its computational complexity. Our implementation is available online.

研究の動機と目的

• 1ホップ隣接だけでなく集約を拡張することで、空間的（メッセージ伝搬）とスペクトル的なグラフ手法の長所を統合する。
• 疎化された拡散ベースのグラフ変換として Graph Diffusion Convolution (GDC) を導入・形式化する。
• 多様なデータセットで、監督付き・非監督付きタスクを問わず GDC が一貫して性能を向上させることを示す。
• GDC のスペクトル特性と、それが多項式フィルタおよび従来の拡散過程とどう関連するかを分析する。
• GDC がプラグアンドプレイであり、計算複雑性を変更することなく任意のグラフベースモデルやアルゴリズムと互換性を持つことを示す。

提案手法

• 収束を保証する制約を伴う S = sum_{k=0}^{∞} θ_k T^k として一般化グラフ拡散を定義する。
• 拡散をモデル化するために遷移行列 T（例：ランダムウォーク、自己ループを持つ対称）を用いる。
• 得られた拡散行列を疎化して疎なグラフ Ŝ を得（top-k または ε-閾値）、 Ŝ 上の対応する遷移行列を計算する。
• 疎化した拡散グラフ Ŝ（またはその対称版）上で標準的なグラフベースモデルを適用して、新しい埋め込みや予測を得る。
• ξ_j 係数（Eq. 4）を介して拡散ベースのフィルタと多項式フィルタの同等性を示すことにより、GDC をスペクトルフィルタと関連づけ、PPR や heat kernel（Eq. 5）のような特殊ケースを実証する。
• 拡散ステップが局所性を保持し、線形時間近似を可能にし、非 GNN モデル（例えばスペクトルクラスタリング）と互換性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 グラフ拡散畳み込み（GDC）は幅広いモデルとデータセットにおいて一貫して性能を向上させるか？
• RQ2 拡散行列の疎化はスペクトル特性と学習成果にどう影響するか？
• RQ3 どの θ_k の拡散係数と遷移行列 T の選択が堅牢でデータセットに依存しない利得を生むか？
• RQ4 GDC は複雑性を変えずに非 GNN グラフベース手法と効果的に統合できるか？
• RQ5 拡散ベースの平滑化と近隣範囲の拡大がラベル効率と一般化能力にどう影響するか？

主な発見

• GDC は複数のモデル（GCN、GAT、JK、GIN、ARMA）およびデータセット（Cora, Citeseer, PubMed, Coauthor CS, Amazon Computers, Amazon Photo）で一貫して精度を向上させる。
• 拡散行列の疎化は計算量を削減するだけでなく、しばしば予測精度を向上させる（top-k および ε-閾値法）。
• PPR および heat kernel 基づく θ_k 係数は、データセットとモデルを問わず堅牢な性能を発揮し、狭い安定範囲で単純なハイパーパラメータで動作する。
• GDC は有効受容野を拡張し、遠くのノードが学習に影響を及ぼすようにし、低ラベル率でも性能を向上させる。
• GDC は特定のデータセットで悪化するモデル（例: GAT）を改善することがあり、教師あり・教師なしの設定の両方で、クラスタリングを含む性能向上が観察される。