[論文レビュー] Spectral Augmentation for Self-Supervised Learning on Graphs

Lu Lin, Jinghui Chen+1 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用数 16

ひとこと要約

本稿では、グラフコントラスト学習におけるスペクトル的増強（SPAN）を提案する。これは、グラフラプラシアンのスペクトル変化を最大化するようにトポロジーの増強を誘導する、原理的で洗練された手法である。エッジの摂動がグラフスペクトルに最も顕著に影響を与えるものを特定することで、SPANはノード分類およびグラフ分類タスクにおいて、モデルのロバストネス、一般化性能、性能を向上させる。自己教師あり学習、転移学習、敵対的学習の設定において、一様なランダム増強ベースラインを上回る性能を達成する。

ABSTRACT

Graph contrastive learning (GCL), as an emerging self-supervised learning technique on graphs, aims to learn representations via instance discrimination. Its performance heavily relies on graph augmentation to reflect invariant patterns that are robust to small perturbations; yet it still remains unclear about what graph invariance GCL should capture. Recent studies mainly perform topology augmentations in a uniformly random manner in the spatial domain, ignoring its influence on the intrinsic structural properties embedded in the spectral domain. In this work, we aim to find a principled way for topology augmentations by exploring the invariance of graphs from the spectral perspective. We develop spectral augmentation which guides topology augmentations by maximizing the spectral change. Extensive experiments on both graph and node classification tasks demonstrate the effectiveness of our method in self-supervised representation learning. The proposed method also brings promising generalization capability in transfer learning, and is equipped with intriguing robustness property under adversarial attacks. Our study sheds light on a general principle for graph topology augmentation.

研究の動機と目的

• 既存のグラフトポロジー増強において、スペクトル感度を考慮せずに一様なランダム摂動を用いることが一般的であるが、そのような設計に原理的根拠が欠如している問題に対処すること。
• 大きなスペクトル変化を引き起こす摂動に対して耐性を示すスペクトル不変性を維持することが、より優れた自己教師ありグラフ表現学習をもたらすかどうかを調査すること。
• スペクトル感度が高いため、増強を誘導するエッジを体系的に特定・標的化する手法を開発し、モデルの一般化性能とロバストネスを向上させること。
• エッジ摂動にとどまらず、ノードドロップなど他の増強タイプに対しても、提案されたスペクトル的原則を拡張し、広範な適用可能性を示すこと。

提案手法

• トポロジー増強を、元のグラフラプラシアンと摂動後のグラフラプラシアンのスペクトル差のL2ノルムを最大化する最適化問題として定式化する。
• エッジ摂動確率を、スペクトル最適化目的関数を解くことで算出する：||eig(Lap(A + C ∘ Δ)) − eig(Lap(A))||²₂、ここでΔはエッジ摂動を表す。
• 摂動強度を一定に保つために予算εを制約条件として設け、変更されるエッジ数を制限する。
• 得られた摂動確率行列Cを用いて、スペクトル変化が大きいエッジに高い確率が割り当てられるように、確率的かつステノスティックに増強ビューをサンプリングする。
• ノードドロップへの拡張は、スペクトル感度からノードドロップ確率ベクトルpを導出し、対称的エッジ削除行列Pを用いることで実現する。
• 本手法は任意のGCLフレームワークと互換性があり、摂動確率の事前計算を一度行うだけでよい。

実験結果

リサーチクエスチョン

• RQ1 エッジのスペクトル感度を用いて、自己教師あり学習におけるより効果的なグラフ増強を誘導できるか？
• RQ2 増強中にスペクトル変化を最大化することで、よりロバストで一般化性能の高い表現が得られるか？
• RQ3 さまざまなグラフ学習タスクにおいて、スペクトル誘導増強は一様なランダム増強と比べて性能で優れているか？
• RQ4 スペクトル不変性の原則は、ノードドロップなどの他の増強タイプにも一般化可能か？
• RQ5 提案手法は、敵対的攻撃や転移学習の設定において、ロバストネスを向上させるか？

主な発見

• SPANは、Cora、PubMed、Wiki-CSにおいて、一様なランダム増強と比較して顕著な向上を示し、ノード分類タスクで最先端の性能を達成した。
• グラフ分類ベンチマークでは、スペクトル誘導的エッジドロップがNCI1で0.46%、PROTEINSで1.11%の精度向上を達成した。
• 敵対的攻撃下でも、ベースラインより高い性能を維持し、ロバストネスが向上したことが確認された。
• 転移学習の実験では、SPANで事前学習されたモデルが、ランダム増強で学習されたモデルよりも、下流タスクへの一般化性能が優れていた。
• 正規化されたスペクトル変化指標により、最適化が平均で15%の割合でスペクトルノルム（固有値のL2ノルム）を増加させることを確認し、スペクトルターゲティング機構の有効性が裏付けられた。
• ノードドロップへの拡張では一貫した性能向上が得られ、PROTEINSで1.11%、IMDB-Mで0.73%の精度向上を達成し、本手法の一般化可能性を裏付けた。