[論文レビュー] Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations

Grégoire Mialon, Randall Balestriero+1 more|arXiv (Cornell University)|Sep 29, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、プロジェクター出力の共分散行列を正則化することで自己教師あり表現における対ごとの独立性を強制する、分散共分散正則化（VCReg）を導入する。理論的に、MLPプロジェクターを用いたVCRegがエンコーダ出力の特徴間の対ごとの独立性を誘導することを証明し、カーネルベースの独立性基準と関連づける。実験的に、分布外一般化性能の向上および独立成分分析（ICA）の解法への利点を検証する。

ABSTRACT

Self-Supervised Learning (SSL) methods such as VICReg, Barlow Twins or W-MSE avoid collapse of their joint embedding architectures by constraining or regularizing the covariance matrix of their projector's output. This study highlights important properties of such strategy, which we coin Variance-Covariance regularization (VCReg). More precisely, we show that {\em VCReg combined to a MLP projector enforces pairwise independence between the features of the learned representation}. This result emerges by bridging VCReg applied on the projector's output to kernel independence criteria applied on the projector's input. We empirically validate our findings where (i) we put in evidence which projector's characteristics favor pairwise independence, (ii) we demonstrate pairwise independence to be beneficial for out-of-domain generalization, (iii) we demonstrate that the scope of VCReg goes beyond SSL by using it to solve Independent Component Analysis. This provides the first theoretical motivation and explanation of MLP projectors in SSL.

研究の動機と目的

• 自己教師あり学習（SSL）におけるMLPプロジェクターの役割に理論的基盤を提供すること。これは、実験的成果は見られるものの、形式的な分析が不足していた。
• プロジェクター出力における分散共分散正則化（VCReg）が、学習された表現における統計的独立性をどのように強制するかを調査すること。
• VCRegによって強制される対ごとの独立性が、分布シフト下での一般化性能を向上させるか、また独立成分分析（ICA）を解けるかを検証すること。
• プロジェクターのアーキテクチャ（幅、深さ）と達成される対ごとの独立性の度合いとの相互作用を調査すること。
• VCRegがSSLにとどまらず、線形および非線形ICAタスクの解法に応用可能であることを示し、その広範な適用可能性を明らかにすること。

提案手法

• 自己教師あり学習における表現崩壊を防ぐために、プロジェクター出力の共分散行列を単位行列に制約する方法として、分散共分散正則化（VCReg）を導入する。
• VCRegがプロジェクター出力に適用された場合と、カーネルベースの独立性基準（特にヒルバート＝シュミット独立性基準：HSIC）との理論的関連を確立し、VCRegが対ごとの独立性を促進することを示す。
• 再生核ヒルバート空間（RKHS）理論を用いて、VCRegと関数的相関の最小化との関係を形式化し、独立性の強制に関する理論的分析を可能にする。
• 訓練中における対ごとの独立性はHSIC、相互独立性はdHSICを用いて実験的に評価し、VCRegが対ごとの独立性を向上させるが、相互独立性は停滞していることを示す。
• プロジェクターが特徴間の共分散を最小化するように訓練することで、ICAにVCRegを適用し、線形ICAでは競争力ある性能を示すが、非線形PNLでは不十分な相互独立性のため失敗することを示す。
• プロジェクターの幅と訓練中のリサンプリングの役割をアブレーションし、より広いプロジェクターと各ステップでの確率的リサンプリングがICAにおけるソース再構成を向上させることを示し、理論的予想と整合している。

実験結果

リサーチクエスチョン

• RQ1 プロジェクター出力における分散共分散正則化（VCReg）は、エンコーダ表現の特徴間の対ごとの独立性を強制するか？
• RQ2 プロジェクターの特性（幅、深さ）がVCReg下での対ごとの独立性の度合いに与える影響は何か？
• RQ3 VCRegによって強制される対ごとの独立性は、自己教師あり学習における分布外一般化に有益か？
• RQ4 VCRegは独立成分分析（ICA）を解くために使用可能か？もしそうなら、どのような条件下で（例：線形混合 vs. 非線形混合）？
• RQ5 VCRegは訓練中に相互独立性を向上させているにもかかわらず、非線形ICAを解くのに失敗する理由は何か？

主な発見

• VCRegをプロジェクター出力に適用することで、エンコーダ表現の特徴間の対ごとの独立性が強制され、ヒルバート＝シュミット独立性基準（HSIC）で測定したところ、訓練中に増加する。
• dHSICで測定した相互独立性は、VCReg下でも訓練中に停滞し続け、VCRegが対ごとの独立性に特化しているが、高次統計的独立性には影響しないことを示している。
• 対ごとの独立性は、ゼロショットまたは分布シフト設定における表現品質の有用な代理指標であると相関が示され、一般化性能の向上と関連している。
• 線形ICAではVCRegが競争力あるソース再構成を実現し、合成データで最大相関0.9986 ± 8.2e-4、音声データで0.9936 ± 64e-4を達成し、FastICAやAnicaと同等の性能を示した。
• 後非線形（PNL）ICAではVCRegがソースを効果的に回復できない（最大相関0.8465 ± 142e-4）ことから、対ごとの独立性だけでは非線形ICAを解くには不十分であり、特徴間の残存依存性が要因であることが示された。
• プロジェクターの幅を拡大し、各ステップでプロジェクターをリサンプリングすることで、ソース再構成品質が向上し、アーキテクチャ選択が強制される独立性の度合いに直接影響することが確認された。