[論文レビュー] Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning

Zixin Wen, Yuanzhi Li|arXiv (Cornell University)|May 31, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、データ拡張を用いた対照的学習が、深層ニューラルネットワークに意味のあるスパース特徴を学習させることで、ごまかい密度の高いノイズを学習しない仕組みを説明するための特徴分離原理を導入する。理論的には、適切な拡張（例：RandomMask）を用いた対照的学習によって、ReLUネットワークが密度の高いノイズ内の相関を抑制しながらスパース信号の相関を保持することを証明している。これにより、有効な特徴学習が可能になる。一方、拡張なしでは、制御不能な勾配更新のため、ネットワークはノイズ特徴に収束してしまう。

ABSTRACT

How can neural networks trained by contrastive learning extract features from the unlabeled data? Why does contrastive learning usually need much stronger data augmentations than supervised learning to ensure good representations? These questions involve both the optimization and statistical aspects of deep learning, but can hardly be answered by analyzing supervised learning, where the target functions are the highest pursuit. Indeed, in self-supervised learning, it is inevitable to relate to the optimization/generalization of neural networks to how they can encode the latent structures in the data, which we refer to as the feature learning process. In this work, we formally study how contrastive learning learns the feature representations for neural networks by analyzing its feature learning process. We consider the case where our data are comprised of two types of features: the more semantically aligned sparse features which we want to learn from, and the other dense features we want to avoid. Theoretically, we prove that contrastive learning using $\mathbf{ReLU}$ networks provably learns the desired sparse features if proper augmentations are adopted. We present an underlying principle called $ extbf{feature decoupling}$ to explain the effects of augmentations, where we theoretically characterize how augmentations can reduce the correlations of dense features between positive samples while keeping the correlations of sparse features intact, thereby forcing the neural networks to learn from the self-supervision of sparse features. Empirically, we verified that the feature decoupling principle matches the underlying mechanism of contrastive learning in practice.

研究の動機と目的

• 対照的学習が、教師あり学習よりも強いデータ拡張を必要とする理由を理解すること。
• 自己教師あり対照的学習における特徴学習プロセスを分析し、特に拡張がニューラルネットワークの最適化ダイナミクスに与える影響を解明すること。
• 対照的学習が適切な拡張を用いることで、ごまかい密度の高いノイズではなく、スパースで意味のある特徴を学習できるという事実を形式化し、証明すること。
• データ拡張が望ましい潜在構造へ表現学習を誘導する役割を理論的に確立すること。

提案手法

• 著者らは、入力データをスパース信号（Mz）と密度の高いノイズ（ξ）の重ね合わせとしてモデル化し、||z||₀ = Õ(1) かつ ||ξ||₂ = poly(d) ≫ ||Mz||₂ を満たす。
• 彼らは、対照的目的関数を用いて確率的勾配降下法（SGD）で学習する1層隠れ層のReLUネットワークを、拡張ありとなしで分析する。
• ランダムマスクと呼ばれるデータ拡張手法を定義し、これが正例ペア間の密度の高いノイズ成分間の相関を低減することを示す。
• 主なメカニズムとして、特徴分離が定式化され、正例間の密度特徴の相互相関を低減する一方で、スパース信号の相関を保持するという仕組みである。
• 理論的分析では、ReLU活性化関数と勾配更新の期待値の上限を用い、拡張なしでは、ノイズ成分の勾配の大きさが高いため、ネットワークが支配的なノイズ特徴を学習してしまうことを示す。
• 実験的検証として、特徴可視化と下流の線形評価を実施し、拡張によりよりクリアで意味的に整合性の高い特徴が得られることを確認した。

実験結果

リサーチクエスチョン

• RQ1 なぜ対照的学習では、データ拡張なしでは意味のある特徴を学習できないのか？
• RQ2 データ拡張は、自己教師あり対照的学習におけるニューラルネットワークの最適化軌道にどのように影響を与えるか？
• RQ3 対照的学習がスパースで意味のある特徴に注目できる背後にある原理は何か？
• RQ4 対照的学習が望ましい特徴を成功裏に学習する条件を理論的に特徴づけることは可能か？

主な発見

• データ拡張なしでは、勾配更新がノイズ成分の高い勾配に強く偏るために、ニューラルネットワークは密度の高いノイズに支配される特徴に収束する。
• RandomMaskのような適切な拡張を用いることで、ネットワークは密度の高いノイズ同士の相関を低減し、スパース信号の相関を保持することで、スパース信号に注目するよう学習する。
• 特徴分離原理に基づく理論的分析により、SGDで学習するReLUネットワークにおいて、拡張を適用することで、望ましいスパース特徴が確実に学習可能であることが証明された。
• 実験的結果は、特徴分離が実際のメカニズムと一致することを示しており、拡張付きの対照的学習は、非拡張学習よりも意味的に整合性の高い特徴を生成することが確認された。
• 非拡張学習では、特徴空間における密度の高いノイズの支配のため、損失関数の減少が遅く、高い水準を維持する。これは表現品質が低いことを示している。
• 拡張なしで学習された表現は、特徴とノイズベクトルの間にほぼ完全な相関があるため、線形プローブに不適切であり、下流の線形分類タスクでは効果がなかった。