[論文レビュー] From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

Hengrui Zhang, Qitian Wu+3 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Graph Neural Networks被引用数 96

ひとこと要約

CCA-SSGは自己教師付きグラフ表現学習のための非コントラスト型、特徴レベルの目的を導入し、カノニカル相関で2つの拡張ビューを整合させつつ特徴次元をデコレラリングし、ネガティブサンプルやMI推定量を用いずに、いくつかのノード分類ベンチマークで最先端と同等以上の性能を達成する。

ABSTRACT

We introduce a conceptually simple yet effective model for self-supervised representation learning with graph data. It follows the previous methods that generate two views of an input graph through data augmentation. However, unlike contrastive methods that focus on instance-level discrimination, we optimize an innovative feature-level objective inspired by classical Canonical Correlation Analysis. Compared with other works, our approach requires none of the parameterized mutual information estimator, additional projector, asymmetric structures, and most importantly, negative samples which can be costly. We show that the new objective essentially 1) aims at discarding augmentation-variant information by learning invariant representations, and 2) can prevent degenerated solutions by decorrelating features in different dimensions. Our theoretical analysis further provides an understanding for the new objective which can be equivalently seen as an instantiation of the Information Bottleneck Principle under the self-supervised setting. Despite its simplicity, our method performs competitively on seven public graph datasets. The code is available at: https://github.com/hengruizhang98/CCA-SSG.

研究の動機と目的

• グラフのための複雑なコントラスト設計とネガティブサンプルを回避する、シンプルなSSLアプローチを提案する。
• グラフ表現のためのCanonical Correlation Analysisに触発された自己教師付き目的を提案する。
• 特徴次元をデコレルすることが次元崩壊を防ぎ、情報ボトルネックの原理と結びつくことを示す。
• 複数のグラフデータセットを横断する理論的洞察と実証的証拠を提供する。

提案手法

• 同じ入力グラフに対してランダムなグラフデータ拡張を用いて2つの拡張ビューを生成する。
• 共有されたGNNエンコーダを用いて両方のビューの埋め込みを取得する。
• 埋め込みを正規化し、ビュー間の不変性損失を計算する。
• クロスビューの特徴共分散を単位行列へ近づけるデデコレlation損失を追加する。
• 不変性項とデコレレーション項の和をλで調整して最適化する。
• SSL設定下でこのアプローチを情報ボトルネックと関連付けることができる。

実験結果

リサーチクエスチョン

• RQ1 非コントラスト型の特徴レベルの目的がグラフに対するコントラスト型SSL法を上回ることができるか。
• RQ2 特徴次元をデコレることがSSLのグラフ表現の崩壊を防ぎ、表現品質を向上させるか。
• RQ3 CCA-SSGは自己教師付きグラフ設定における情報ボトルネックの原理とどのように関連するか。
• RQ4 既存のSSL手法と比較して、標準的なノード分類ベンチマークにおけるCCA-SSGの経験的性能はどうか。

主な発見

• CCA-SSGは7つのノード分類ベンチマークで競争力のあるまたは優れた精度を達成し、複数データセットでいくつかのベンチマークを上回る。
• 本手法はネガティブサンプルも、パラメータ化された相互情報推定量も、プロジェクター/予測子も、非対称なアーキテクチャも必要としない。
• 不変性項は拡張に対して不変な情報を保持し、デコレレーション項は特徴次元をデコレることによって次元崩壊を防ぐ。
• 理論分析はこの目的が自己教師付き学習の下で情報ボトルネック原理の具体化の一例に対応することを示す。
• アブレーション研究は不変性とデコレレーションの両方が重要で、デコレレーションが崩壊を防ぎ、不変性が性能を牽引することを示す。
• 埋め込み次元とハイパーパラメータλは性能に影響を与え、より大きなDはある程度まで有利だが、適切なλのバランスが二項を調整する。