[論文レビュー] Understanding self-supervised Learning Dynamics without Contrastive Pairs

Yuandong Tian, Xinlei Chen+1 more|arXiv (Cornell University)|Feb 12, 2021

Neural Networks and Applications被引用数 64

ひとこと要約

本論文は、単純な線形ネットワークにおける非対比的自己教師あり学習（BYOL/SimSiam）の非線形学習ダイナミクスを分析し、重要な特性（重み減衰のバランス、ストップ勾配の必要性、固有空間の整列）を証明し、DirectPredを導入してデータ統計から直接予測子を設定する方法を提案します。

ABSTRACT

While contrastive approaches of self-supervised learning (SSL) learn representations by minimizing the distance between two augmented views of the same data point (positive pairs) and maximizing views from different data points (negative pairs), recent \\emph{non-contrastive} SSL (e.g., BYOL and SimSiam) show remarkable performance {\\it without} negative pairs, with an extra learnable predictor and a stop-gradient operation. A fundamental question arises: why do these methods not collapse into trivial representations? We answer this question via a simple theoretical study and propose a novel approach, DirectPred, that \\emph{directly} sets the linear predictor based on the statistics of its inputs, without gradient training. On ImageNet, it performs comparably with more complex two-layer non-linear predictors that employ BatchNorm and outperforms a linear predictor by $2.5\\%$ in 300-epoch training (and $5\\%$ in 60-epoch). DirectPred is motivated by our theoretical study of the nonlinear learning dynamics of non-contrastive SSL in simple linear networks. Our study yields conceptual insights into how non-contrastive SSL methods learn, how they avoid representational collapse, and how multiple factors, like predictor networks, stop-gradients, exponential moving averages, and weight decay all come into play. Our simple theory recapitulates the results of real-world ablation studies in both STL-10 and ImageNet. Code is released https://github.com/facebookresearch/luckmatters/tree/master/ssl.

研究の動機と目的

• 非対となるSSL手法がネガティブペアなしで崩壊を回避する理由を説明する。
• 予測子ネットワーク、ストップ勾配、EMA、重み減衰が堅牢な表現の学習にどのように相互作用するかを理解する。
• BYOL/SimSiamにおけるデータセット間の実証的アブレーションを説明する解析的予測を提供する。
• 理論に整合したシンプルで最適化不要な予測子（DirectPred）を提案する。
• STL-10、CIFAR-10、ImageNetでの実験を通じて理論的洞察を検証する。

提案手法

• 非線形学習ダイナミクスを導くための単純な二層線形BYOLモデルを開発する。
• 拡張と重み減衰の下でW、W_p、W_aの勾配流方程式を導出する。
• 予測子とオンラインネットワークの間で重み減衰がバランスを促進することを証明する（定理1）。
• ストップ勾配が崩壊を避けるために不可欠であることを示す（定理2）。
• 予測子とオンライン特徴共分散の固有空間の整列が訓練を通じて現れ、モードごとの分離可能なダイナミクスを可能にする（定理3）。
• 特徴入力統計からW_pを設定する直接的な予測子DirectPredを導入する（式18）。

実験結果

リサーチクエスチョン

• RQ1 ネガティブペアなしで非対比SSL法が表現崩壊を回避できる理由は何か。
• RQ2 EMA、予測子学習率、重み減衰は学習ダイナミクスをどのように形作るか。
• RQ3 予測子とオンライン表現は固有空間で整列するのか、どの条件下でそうなるのか。
• RQ4 閉形式で最適化不要な予測子が競争力を得られるのか。
• RQ5 理論主導の洞察はSTL-10とImageNetでの経験的アブレーションをどれくらい説明できるか。

主な発見

• 重み減衰は予測子とオンラインネットワークの間のバランスを促進し、予測子のみが学習表現を説明することを防ぐ（定理1）。
• ストップ勾配を外すと表現崩壊を引き起こすことがあり、ストップ勾配の必要性を解析的に示す（定理2）。
• 訓練を通じて予測子とオンライン特徴共分散の固有空間の整列が現れ、モードごとの分離可能なダイナミクスを可能にする（定理3）。
• EMAは自動的なカリキュラムとして機能し、整列目標を徐々に引き上げることで安定した学習と性能向上を支援する（定理3および関連解析に結びつく観察）。
• DirectPredは入力統計から設定される最適化不要の予測子であり、勾配で学習する線形予測子と同等以上の性能を発揮し、ImageNet STL-10/CIFAR-10で強力な結果を達成する（例：ImageNet Top-1/Top-5 72.4/91.0、300エポック； STL-10およびImageNetで60エポックでTop-1が+5%）。