[論文レビュー] Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods

Randall Balestriero, Yann LeCun|arXiv (Cornell University)|May 23, 2022

Civil and Geotechnical Engineering Research被引用数 22

ひとこと要約

本論文は SSL 手法（VICReg、SimCLR、BarlowTwins）をスペクトル埋め込み手法と統合し、閉形式の表現とネットワークパラメータを導出し、グローバル対ローカルのスペクトル的視点を区別する体系的な設計指針を提供します。

ABSTRACT

Self-Supervised Learning (SSL) surmises that inputs and pairwise positive relationships are enough to learn meaningful representations. Although SSL has recently reached a milestone: outperforming supervised methods in many modalities\dots the theoretical foundations are limited, method-specific, and fail to provide principled design guidelines to practitioners. In this paper, we propose a unifying framework under the helm of spectral manifold learning to address those limitations. Through the course of this study, we will rigorously demonstrate that VICReg, SimCLR, BarlowTwins et al. correspond to eponymous spectral methods such as Laplacian Eigenmaps, Multidimensional Scaling et al. This unification will then allow us to obtain (i) the closed-form optimal representation for each method, (ii) the closed-form optimal network parameters in the linear regime for each method, (iii) the impact of the pairwise relations used during training on each of those quantities and on downstream task performances, and most importantly, (iv) the first theoretical bridge between contrastive and non-contrastive methods towards global and local spectral embedding methods respectively, hinting at the benefits and limitations of each. For example, (i) if the pairwise relation is aligned with the downstream task, any SSL method can be employed successfully and will recover the supervised method, but in the low data regime, VICReg's invariance hyper-parameter should be high; (ii) if the pairwise relation is misaligned with the downstream task, VICReg with small invariance hyper-parameter should be preferred over SimCLR or BarlowTwins.

研究の動機と目的

• 自己教師付き学習（SSL）手法をスペクトル埋め込み理論と統合する。
• 関係行列 G が与えられたとき、SSL 損失の閉形式の最適表現を導出する。
• SSL 損失の線形領域で閉形式の最適ネットワークパラメータを得る。
• SSL 解がグローバル対ローカルのスペクトル埋め込み法とどう一致するかを特徴づける。
• G および下流タスクに基づいて SSL 目的関数とハイパーパラメータを選択する実践的な設計指針を提供する。

提案手法

• VICReg、SimCLR、BarlowTwins をスペクトル埋め込み対応手法（ラプラシアン固有写像、MDS、CCA、LPP、LDA）に対応づける。
• 関係行列 G と損失のハイパーパラメータに依存する SSL 損失の閉形式最適表現 Z* を導出する。
• 線形領域で SSL 損失の正確な最適線形ネットワークパラメータを計算する。
• SSL 手法は Z の左特異ベクトルを G の左特異ベクトルに整合させるよう制約する一方で、右特異ベクトルを制約しないことを示す。
• 階数と G情報の組み込みをどう制御するかというハイパーパラメータ（例: gamma/alpha）の役割を特徴づける。
• 第一原理から導出される SSL 目的関数の分析的結びつきと潜在的な変分を提供する。

実験結果

リサーチクエスチョン

• RQ1 SSL 損失は古典的なスペクトル埋め込み法に正確に写像できるか。
• RQ2 G が与えられたとき、VICReg、SimCLR/NNCLR、BarlowTwins の閉形式の最適表現 Z* は何か。
• RQ3 ハイパーパラメータは SSL 表現のランクと情報捕捉にどのように影響するか。
• RQ4 SSL 表現が下流タスクと監督付き対応と一致する条件は何か。

主な発見

• 適切なレジーム下で、VICReg、SimCLR、BarlowTwins は Laplacian Eigenmaps、ISOMAP、CCA などのスペクトル埋め込み法に対応する。
• 最適な SSL 表現 Z* はラプラシアンの組み合わせから閉形式で得られ、明示的なスペクトル解釈を可能にする（定理1および関連結果）。
• 線形領域では、SSL ネットワークパラメータ W* が閉形式で表現され、ネットワークが強調する入力統計を明らかにする。
• VICReg は損失ハイパーパラメータ（gamma/alpha）を調整することで全秩 Z* を得られる一方、SimCLR と BarlowTwins は rank(Z)=rank(G) を課すため G の誤指定に対する頑健性の違いを示す。
• 対比学習法はグローバルスペクトル埋め込みと整合し（グローバル構造の保持に焦点）、非対比的手法はローカルスペクトル埋め込みと整合する（ローカルの滑らかさに焦点）。
• Z の左特異ベクトルは G の左特異ベクトルと一致するよう制約され、Y との右スペクトル整合性を前提とすれば、いかなる SSL 損失も下流タスクに最適な表現を導出し得る。