[論文レビュー] On Feature Decorrelation in Self-Supervised Learning

Tianyu Hua, Wenxiao Wang+4 more|arXiv (Cornell University)|May 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 4

ひとこと要約

この論文は自己教師あり学習における2種類の表現崩壊を特定し分析する：完全崩壊と、特徴軸間の強い相関によって生じる、これまで無視されてきた次元崩壊。著者らは特徴の非相関化—プロジェクタ出力の共分散行列の標準化—を解決策として提案し、CIFAR-10、CIFAR-100、ImageNetを含む複数のベンチマークで、この単純な手法が表現品質を顕著に向上させることを実証的に示している。

ABSTRACT

In self-supervised representation learning, a common idea behind most of the state-of-the-art approaches is to enforce the robustness of the representations to predefined augmentations. A potential issue of this idea is the existence of completely collapsed solutions (i.e., constant features), which are typically avoided implicitly by carefully chosen implementation details. In this work, we study a relatively concise framework containing the most common components from recent approaches. We verify the existence of complete collapse and discover another reachable collapse pattern that is usually overlooked, namely dimensional collapse. We connect dimensional collapse with strong correlations between axes and consider such connection as a strong motivation for feature decorrelation (i.e., standardizing the covariance matrix). The gains from feature decorrelation are verified empirically to highlight the importance and the potential of this insight.

研究の動機と目的

• 完全崩壊に加え、自己教師あり学習における表現崩壊の存在と原因を、よく知られた完全崩壊を超えて調査すること。
• 強い特徴間相関によって引き起こされる、これまで無視されてきた崩壊パターンとしての次元崩壊を特定・分析すること。
• 特徴相関と崩壊の間の理論的・実証的関連を確立し、特徴の非相関化を解決策として提唱すること。
• 異なる自己教師ありフレームワークおよびデータセットにおいて、特徴の非相関化が下流性能を向上させる有効性を評価すること。

提案手法

• データ拡張、エンコーダ、プロジェクタというコアな構成要素に焦点を当てた、簡潔な自己教師ありフレームワーク（Shuffled-DBN）を提案し、崩壊現象の研究を可能にする。
• プロジェクタ出力の共分散行列を標準化することで特徴を非相関化するグループ別シャッフル戦略を導入する。
• 線形評価プロトコルをImageNetおよびCIFARデータセットに適用し、非相関化後の表現の有用性を測定する。
• 学習可能なパラメータを有するプロジェクタを用い、バッチ正規化と重み初期化を適用して学習を安定化させる。
• シャッフル機構におけるグループサイズを変化させることで非相関化の強度を制御し、非相関化強度に関するアブレーションスタディを可能にする。
• フレームワーク内に標準的な自己教師あり対照的および対称的損失目的（例：Barlow Twins）を採用し、非相関化による利点を検証する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現学習において、次元崩壊が発生しうるのか、その原因は何か？
• RQ2 高い特徴間相関と表現崩壊の間に強い関連性があるのか？
• RQ3 具体的には共分散行列の標準化による特徴の非相関化は、自己教師あり学習における表現品質を向上させるのか？
• RQ4 非相関化による性能向上は、異なるバッチサイズ、プロジェクタ次元、およびデータセットにおいて一般化可能か？
• RQ5 複雑な部品（例：モーメンタムエンコーダーや予測子）を含まない、単純な非相関化技術が、最先端手法を上回るか、同等の性能を達成できるか？

主な発見

• 強い特徴軸間相関によって引き起こされる次元崩壊は、自己教師あり学習における到達可能な、かつこれまで無視されてきた崩壊パターンである。
• 共分散行列の標準化による特徴の非相関化は、バッチサイズ32でCIFAR-10において88.25%のトップ1精度を達成し、線形評価精度を顕著に向上させる。
• CIFAR-100では、非相関化を施したShuffled-DBNがグループサイズ64でkNN精度87.05%、線形精度88.75%を達成し、ベースライン手法を上回る。
• ResNet-50を用いたImageNetでは、Shuffled-DBNが200エポックの事前学習後に65.18%のトップ1精度を達成し、シンプルなフレームワークでありながら強力な性能を示している。
• 非相関化による性能向上は、異なるバッチサイズおよびプロジェクタ次元において一貫しており、非相関化の強度が高くなるほど向上が顕著になる。
• アブレーションスタディにより、より強い非相関化（より大きなグループサイズ）がkNNおよび線形評価の両方でより良い性能をもたらすことが確認され、共分散標準化の利点が裏付けられた。