[論文レビュー] Spectral Feature Augmentation for Graph Contrastive Learning and Beyond

Yifei Zhang, Hao Zhu+3 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、不完全なべき乗反復を用いて特徴マップのスペクトルを再平衡化し、特異値にノイズを注入する、グラフ対照学習のための新規で効率的な手法であるスペクトル特徴拡張（SFA）を提案する。部分的に等しくされた特異値と直交基底を保持することで、支配的でない特徴の整合性が向上し、一般化性能が向上し、ノード分類およびクラスタリングタスクで最先端の性能を達成する。既存の拡張戦略を上回る。

ABSTRACT

Although augmentations (e.g., perturbation of graph edges, image crops) boost the efficiency of Contrastive Learning (CL), feature level augmentation is another plausible, complementary yet not well researched strategy. Thus, we present a novel spectral feature argumentation for contrastive learning on graphs (and images). To this end, for each data view, we estimate a low-rank approximation per feature map and subtract that approximation from the map to obtain its complement. This is achieved by the proposed herein incomplete power iteration, a non-standard power iteration regime which enjoys two valuable byproducts (under mere one or two iterations): (i) it partially balances spectrum of the feature map, and (ii) it injects the noise into rebalanced singular values of the feature map (spectral augmentation). For two views, we align these rebalanced feature maps as such an improved alignment step can focus more on less dominant singular values of matrices of both views, whereas the spectral augmentation does not affect the spectral angle alignment (singular vectors are not perturbed). We derive the analytical form for: (i) the incomplete power iteration to capture its spectrum-balancing effect, and (ii) the variance of singular values augmented implicitly by the noise. We also show that the spectral augmentation improves the generalization bound. Experiments on graph/image datasets show that our spectral feature augmentation outperforms baselines, and is complementary with other augmentation strategies and compatible with various contrastive losses.

研究の動機と目的

• グラフおよび画像の対照学習における有効な特徴レベルの拡張の欠如に対処すること。
• 特徴マップのスペクトルをバランスさせることで表現学習を向上させ、特に支配的でない特異値に注目すること。
• さまざまな対照損失関数およびデータ拡張と互換性のあるプラグアンドプレイな手法を開発すること。
• 提案された不完全なべき乗反復におけるスペクトルバランス効果およびノイズ注入の理論的分析を行うこと。
• 下流のノードレベルタスクにおける一般化および性能の向上を実証すること。

提案手法

• 特徴マップの低ランク近似を推定するために、1回または2回の反復にとどめる非標準的な設定である不完全なべき乗反復を提案する。
• 元の特徴マップから低ランク近似を差し引くことで、その補数を取得し、効果的にスペクトルを再平衡化する。
• 不完全なべき乗反復の確率的性質を活用して、再平衡化された特異値にノイズを注入する。
• 2つのビューの特異ベクトルを、すべての特異値に等しい重みを割り当てることで整合化し、主特異ベクトルによる優位性を回避する。
• スペクトルバランス効果および拡張された特異値の分散の解析的表現を導出する。
• SFAをGCLパイプラインにプラグインレイヤーとして統合し、InfoNCEおよびBarlow Twin対照損失関数と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 不完全なべき乗反復によるスペクトル特徴拡張は、グラフ対照学習における表現学習を向上させることができるか？
• RQ2 特徴マップのスペクトルを再平衡化することは、対照学習における正規直交基底の整合性を向上させるか？
• RQ3 特異値に注入されたノイズは、モデルの一般化性能および性能にどのように影響するか？
• RQ4 提案手法は、既存のデータ拡張および対照損失関数と互換性があるか？
• RQ5 不完全なべき乗反復のスペクトルバランス効果の背後にある理論的メカニズムは何か？

主な発見

• スペクトル特徴拡張は、複数のグラフおよび画像データセットにおけるノード分類およびクラスタリングベンチマークで、既存のベースライン手法を上回る性能を達成する。
• 標準的なデータ拡張およびInfoNCEやBarlow Twinなどの対照損失関数と組み合わせた場合、本手法は最先端の性能を達成する。
• 不完全なべき乗反復は、わずか1〜2回の反復で特徴マップのスペクトルを効果的にバランスさせ、支配的でない特異ベクトルの整合性を向上させる。
• 理論的分析により、本手法は特異ベクトルを保持したまま特異値に暗黙的にノイズを注入することが確認され、意味的構造を損なわずにスペクトル拡張が可能であることが示された。
• スペクトル拡張のおかげでモデルの一般化境界が向上し、理論的導出によってそれが裏付けられた。
• 本手法は計算的に効率的であり、ランタイムオーバーヘッドをほとんど発生させずに、既存のGNNフレームワークにシームレスに統合可能である。