[論文レビュー] Graph Condensation for Graph Neural Networks

Wei Jin, Lingxiao Zhao+4 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks参考文献 47被引用数 20

ひとこと要約

本稿では、GNNの性能を維持したまま大規模な属性付きグラフを小さく合成されたグラフに縮小する、新しいフレームワークであるグラフ凝縮（GCond）を提案する。勾配マッチング損失を最適化し、学習可能なノード特徴量の関数としてグラフ構造をパrameter化することで、GCondはグラフサイズを99.9%以上削減し、Flickrでは元のテスト精度の99.8%、Redditでは95.3%の精度を達成する。これにより、多様なGNNアーキテクチャの効率的な学習が可能になる。

ABSTRACT

Given the prevalence of large-scale graphs in real-world applications, the storage and time for training neural models have raised increasing concerns. To alleviate the concerns, we propose and study the problem of graph condensation for graph neural networks (GNNs). Specifically, we aim to condense the large, original graph into a small, synthetic and highly-informative graph, such that GNNs trained on the small graph and large graph have comparable performance. We approach the condensation problem by imitating the GNN training trajectory on the original graph through the optimization of a gradient matching loss and design a strategy to condense node futures and structural information simultaneously. Extensive experiments have demonstrated the effectiveness of the proposed framework in condensing different graph datasets into informative smaller graphs. In particular, we are able to approximate the original test accuracy by 95.3% on Reddit, 99.8% on Flickr and 99.0% on Citeseer, while reducing their graph size by more than 99.9%, and the condensed graphs can be used to train various GNN architectures.Code is released at https://github.com/ChandlerBang/GCond.

研究の動機と目的

• 数百万ノードおよびエッジを有する大規模グラフ上でGNNを学習するにあたり、計算およびストレージ負荷が増大する問題に対処すること。
• 小さな合成グラフを学習することで、元のグラフ全体で学習した場合と同等の性能を達成できるかを検討すること。
• 下流のGNN性能を維持しつつ、グラフ構造とノード属性の両方を同時に凝縮する手法を開発すること。
• 高情報量で最小限の合成グラフを生成することで、グラフデータの効率的な学習、保存、検索を可能にすること。
• 凝縮されたグラフが、GCN、GraphSAGE、SGCなどの異なるGNNアーキテクチャや、ニューラルアーキテクチャ探索（NAS）を含むさまざまな下流タスクに一般化できるかを示すこと。

提案手法

• フレームワークは、元のグラフと凝縮グラフで学習したGNNの訓練軌道を一致させるために、勾配マッチング損失を用いる。
• 凝縮グラフにおけるグラフ構造は、学習可能なノード特徴量の微分可能関数としてパrameter化され、エンドツーエンド最適化が可能になる。
• 凝縮グラフ内のノード特徴量は、学習中に最適化される自由パラメータとして扱われる。
• 本手法は、性能差を最小化するために、合成ノード特徴量、エッジ重み（アテンションベース）によるグラフ構造、およびラベルを同時に最適化する。
• バックプロパゲーションにより学習され、損失関数は、元のグラフと凝縮グラフにおけるGNNパラメータの勾配のL2距離を測定する。
• フレームワークは、Reddit、Flickr、Citeseer、Cora、Ogbg-arxivなどの複数のベンチマークデータセットを用い、さまざまなGNNアーキテクチャで評価されている。

実験結果

リサーチクエスチョン

• RQ1 元のグラフ全体で学習した場合と同等の性能を達成できるような、小さな合成グラフを学習可能か？
• RQ2 GNN性能を維持しつつ、グラフ構造とノード属性の両方を効果的に凝縮する方法は何か？
• RQ3 凝縮グラフは、異なるGNNアーキテクチャやハイパーパramータに対してどの程度一般化可能か？
• RQ4 ニューラルアーキテクチャ探索（NAS）の文脈において、凝縮グラフで学習したGNNの性能は、元のデータセットで学習した場合と比べてどうか？
• RQ5 凝縮グラフはどのような構造的および統計的性質を示し、元のグラフとどのように異なるか？

主な発見

• GCondはグラフサイズを99.9%以上削減し、Redditでは元のテスト精度の95.3%、Flickrでは99.8%、Citeseerでは99.0%の精度を達成した。
• 凝縮グラフは元のグラフよりも著しく密度が高く、Redditではスパarsityが0.09%から2.57%に、Ogbg-arxivでは0.01%から3.25%に低下した。
• Cora、Citeseer、Flickrでは同型性（homophily）のパターンが良好に保持されたが、RedditとOgbg-arxivでは低下した。
• Reddit用の凝縮グラフはスターダム構造を示しており、ノード特徴量が情報伝播において支配的役割を果たしていることを示している。
• GCN、GraphSAGE、SGCなど、さまざまなアーキテクチャで学習したGNNは、凝縮グラフ上で良好に一般化され、性能低下が最小限に抑えられた。
• ニューラルアーキテクチャ探索（NAS）において、凝縮データセットでの性能と元のデータセットでの性能の間に強い相関が確認され、凝縮グラフの実用性が裏付けられた。