[論文レビュー] Does Graph Distillation See Like Vision Dataset Counterpart?

Beining Yang, Kai Wang+6 more|arXiv (Cornell University)|Oct 13, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、合成グラフ生成中に隣接行列をブロードキャストすることで、元のグラフ構造を明示的に保持する、構造ブロードキャスト型グラフ・データセット縮約（SGDD）を提案する。スペクトル解析を通じてラプラシアン・エナジー分布（LED）のずれを最小化することにより、9つのデータセットで最先端の性能を達成し、グラフサイズを1,000倍小さくしたにもかかわらず元のYelpChiのテスト精度の98.6％を維持するとともに、LEDのずれを17.6％～31.4％削減した。

ABSTRACT

Training on large-scale graphs has achieved remarkable results in graph representation learning, but its cost and storage have attracted increasing concerns. Existing graph condensation methods primarily focus on optimizing the feature matrices of condensed graphs while overlooking the impact of the structure information from the original graphs. To investigate the impact of the structure information, we conduct analysis from the spectral domain and empirically identify substantial Laplacian Energy Distribution (LED) shifts in previous works. Such shifts lead to poor performance in cross-architecture generalization and specific tasks, including anomaly detection and link prediction. In this paper, we propose a novel Structure-broadcasting Graph Dataset Distillation (SGDD) scheme for broadcasting the original structure information to the generation of the synthetic one, which explicitly prevents overlooking the original structure information. Theoretically, the synthetic graphs by SGDD are expected to have smaller LED shifts than previous works, leading to superior performance in both cross-architecture settings and specific tasks. We validate the proposed SGDD across 9 datasets and achieve state-of-the-art results on all of them: for example, on the YelpChi dataset, our approach maintains 98.6% test accuracy of training on the original graph dataset with 1,000 times saving on the scale of the graph. Moreover, we empirically evaluate there exist 17.6% ~ 31.4% reductions in LED shift crossing 9 datasets. Extensive experiments and analysis verify the effectiveness and necessity of the proposed designs. The code is available in the GitHub repository: https://github.com/RingBDStack/SGDD.

研究の動機と目的

• 合成グラフ生成時に元の構造情報を見過ごす既存のグラフ縮約手法の限界に対処すること。
• 特にラプラシアン・エナジー分布（LED）のずれを含むスペクトル的構造のずれが、クロスアーキテクチャ一般化および下流タスク性能に与える影響を調査すること。
• LEDのずれを低減し、一般化性能を向上させるために、元のグラフ構造を合成グラフに明示的にブロードキャストする手法を開発すること。
• 実験的および理論的分析を通じて、グラフデータセット縮約における構造保存の必要性と有効性を検証すること。
• 最小限のグラフサイズで、異常検知やリンク予測といった特定タスクおよび一般化性能において最先端の性能を達成すること。

提案手法

• 元の隣接行列 A を直接使用して合成隣接行列 A′ を生成する、構造ブロードキャスト型フレームワーク SGDD を提案する。特徴量から A′ を推定するのではなく、A を直接転送する。
• 元のグラフと縮約グラフ間のラプラシアン・エナジー分布（LED）のずれを最小化するスペクトルベースの目的関数を導入し、構造的忠実性を確保する。
• 特徴量の勾配マッチング戦略を採用しながら、A の直接ブロードキャストにより構造トポロジを明示的に保存することで、構造学習と特徴量ベースの再構築を分離する。
• 係数 β を用いた正則化された目的関数を採用し、縮約グラフのスパarsityを制御することで、堅牢性とスケーラビリティを確保する。
• 計算コストを低減しつつ性能を維持するため、縮約プロセス中に最適輸送に基づくサンプリングを適用する。
• スペクトル解析とシフト係数（SC）を用いて、LEDのずれの定量的評価に用いる代理指標として、構造保存の度合を測定する。

実験結果

リサーチクエスチョン

• RQ1 既存のグラフ縮約手法は、どれほど元のグラフ構造を正しく保存できていないのか。その影響は性能にどのように現れるのか。
• RQ2 グラフ縮約におけるラプラシアン・エナジー分布（LED）のずれと、クロスアーキテクチャ一般化性能の関係は何か。
• RQ3 元のグラフ構造を明示的にブロードキャストすることで、リンク予測や異常検知といった下流タスクの性能向上が図れるか。
• RQ4 視覚的インスピレーションを受ける既存手法（例：GCond）と比較して、SGDD は構造的忠実性および一般化性能においてどのように優れているか。
• RQ5 SGDD は β などのハイパーパrameter に対してどれほど感度が高く、サンプリングサイズがスケーラビリティおよび性能に与える影響は何か。

主な発見

• SGDD は 9 つのデータセット全体で、ラプラシアン・エナジー分布（LED）のずれを 17.6％ ～ 31.4％ 削減し、構造保存の向上が顕著に示された。
• YelpChi データセットでは、グラフサイズを 1,000 倍小さくしたにもかかわらず、元のグラフのテスト精度の 98.6％ を維持し、最先端の性能を達成した。
• YelpChi において、5 つの GNN アーキテクチャ（APPNP, Cheby, GCN, SAGE, SGC）を用いた実験で、GCond より平均 9.6％ のクロスアーキテクチャ一般化性能の向上を達成した。
• ハイパーパrameter β に対して頑健であり、さまざまなスパarsityレベルでも性能が安定しており、2,000 個のサンプルノードで最適な結果が得られた。
• 可視化とアブレーションスタディの結果、SGDD は特徴量のみの再構築手法よりも、ヒモロフィーのパターンや構造的性質をよりよく保存していることが確認された。
• SGDD の縮約グラフは、例として Reddit では 153k 個のノードから 153 個のノードにまで小さくされ、精度は同等に維持された。ストレージは数百MBから 1MB未満にまで削減された。