[論文レビュー] Graph Condensation via Receptive Field Distribution Matching

Mengyang Liu, Shanchuan Li+2 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、最大平均差分（MMD）を用いて元のグラフの受容 field の分布を一致させることで、情報量が多く小さなグラフを合成する、受容 field 分布一致によるグラフ凝縮（GCDM）を提案する。GCDM は、99%のグラフサイズ削減、Flickr では最高97.6%のテスト精度、GCOND よりも3倍速い凝縮速度を達成し、多様な GNN アーキテクチャにわたって一般化可能であり、最先端の性能を達成する。

ABSTRACT

Graph neural networks (GNNs) enable the analysis of graphs using deep learning, with promising results in capturing structured information in graphs. This paper focuses on creating a small graph to represent the original graph, so that GNNs trained on the size-reduced graph can make accurate predictions. We view the original graph as a distribution of receptive fields and aim to synthesize a small graph whose receptive fields share a similar distribution. Thus, we propose Graph Condesation via Receptive Field Distribution Matching (GCDM), which is accomplished by optimizing the synthetic graph through the use of a distribution matching loss quantified by maximum mean discrepancy (MMD). Additionally, we demonstrate that the synthetic graph generated by GCDM is highly generalizable to a variety of models in evaluation phase and that the condensing speed is significantly improved using this framework.

研究の動機と目的

• 大規模グラフにおける GNN の学習にかかる高い計算コスト、特にハイパーパramータチューニングやアーキテクチャ探索の段階での課題に対処すること。
• 既存のグラフ凝縮手法が抱える限界、例えば高い計算コストや GNN アーキテクチャ間での一般化性の低さを克服すること。
• 元のグラフの予測性能を保持しつつ、より効率的かつ一般化可能なグラフ凝縮フレームワークを開発すること。
• コンパクトで代表的な合成グラフを生成することで、再訓練やニューラルアーキテクチャ探索を高速化すること。

提案手法

• 本手法は、元のグラフを受容 field の分布として扱い、グラフ凝縮を分布一致問題として定式化する。
• 最大平均差分（MMD）を用いて、元のグラフと合成グラフの受容 field 分布間の距離を測定する。
• 二階微分を必要とせず、モデル固有の学習ダイナミクスを必要としないエンドツーエンドの最適化により、合成グラフを MMD 損失を最小化するように最適化する。
• 受容 field は、GNN のメッセージパッシングメカニズムに基づいて定義され、ノード間の構造的および特徴的依存関係を捉える。
• 凝縮中に特定の GNN モデルの勾配に依存しないため、アーキテクチャに依存しない。
• 元のグラフのインダクティブバイアスを保持する高精度な小型合成グラフを生成することで、効率的な学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MMD を用いた受容 field 分布一致により、元のグラフと同等の予測性能を維持する合成グラフを生成できるか？
• RQ2 GCDM の一般化能力は、GIN、GCN、SAGE などの多様な GNN アーキテクチャ間でどのように比較されるか？
• RQ3 凝縮プロセスにおいて二階微分の計算を排除することで、精度を損なわず学習効率が著しく向上するか？
• RQ4 GCDM の性能は、GCOND よりも高い凝縮グラフサイズに伴い、どのようにスケーリングするか？
• RQ5 凝縮グラフ内のノード特徴量の可視化により、ベースライン手法と比較して構造的クラスタリングが改善されているか？

主な発見

• Flickr データセットにおいて、GCDM はグラフサイズを99.5%削減した状態で、元のテスト精度の97.6%を達成した。
• Ogbn-arxiv では、元のグラフサイズの1%で90.6%のテスト精度に達し、一般化性能において GCOND を上回った。
• Cora、CiteSeer、PubMed では、99%のグラフサイズ削減で99%のテスト精度を達成し、引用ネットワークにおいても強力な性能を示した。
• GCOND と比較して、凝縮時間を70%以上短縮した—ogbn-arxiv で50エポックの学習において、GCDM は1,782 GPU秒、GCOND は5,960 GPU秒を要した。
• GNN モデル間での一般化性能が高く、Flickr において GIN を用いた場合、GCDM は38.8%の精度を達成したのに対し、GCOND は42.5%であった。
• 可視化結果から、GCDM が生成するグラフは、GCOND よりもノード特徴量の表現がより明確にクラスタリングされていることが示され、構造の保存性が優れていることが示唆された。