[論文レビュー] An Investigation into Whitening Loss for Self-supervised Learning

Xi Weng, Lei Huang+4 more|arXiv (Cornell University)|Oct 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、チャネルワイドニングとランダムグループ分割を組み合わせた新規自己教師あり学習手法、CW-RGPを提案する。この手法は、チャネル単位のワイドニングとランダムなグループ分割を用いることで、埋め込みのフルランク性を強制し、表現の崩壊を回避する。バッチワイドニング手法とは異なり、大規模バッチサイズを必要としないが、高い性能を維持し、ImageNet分類およびCOCOオブジェクト検出で最先端の結果を達成している。COCO検出では60.5 AP、インスタンスセグメンテーションでは57.3 APを達成した。

ABSTRACT

A desirable objective in self-supervised learning (SSL) is to avoid feature collapse. Whitening loss guarantees collapse avoidance by minimizing the distance between embeddings of positive pairs under the conditioning that the embeddings from different views are whitened. In this paper, we propose a framework with an informative indicator to analyze whitening loss, which provides a clue to demystify several interesting phenomena as well as a pivoting point connecting to other SSL methods. We reveal that batch whitening (BW) based methods do not impose whitening constraints on the embedding, but they only require the embedding to be full-rank. This full-rank constraint is also sufficient to avoid dimensional collapse. Based on our analysis, we propose channel whitening with random group partition (CW-RGP), which exploits the advantages of BW-based methods in preventing collapse and avoids their disadvantages requiring large batch size. Experimental results on ImageNet classification and COCO object detection reveal that the proposed CW-RGP possesses a promising potential for learning good representations. The code is available at https://github.com/winci-ai/CW-RGP.

研究の動機と目的

• 自己教師あり学習におけるワイドニング損失の理論的・実用的挙動を調査し、表現の崩壊を防ぐ役割を解明すること。
• 理論的保証はあるが、次元の崩壊を防げない一部のワイドニング変換が失敗する理由を分析すること。
• バッチワイドニングの崩壊回避効果を維持しながら、大規模バッチサイズに依存しない手法を開発すること。
• 自己教師あり表現学習におけるバッチワイドニングの理論的裏付けと実験的有効性に優れた代替手法を提案すること。

提案手法

• 対称的ワイドニング損失を、オンラインネットワークがワイドナライズドターゲットと一致する必要がある2つの非対称損失に分解し、他のSSL手法との接続を可能にする。
• チャネルワイドニングとランダムグループ分割（CW-RGP）を提案する。これは、全バッチ全体ではなく、ランダムに分割されたチャネルグループ内で埋め込みをワイドニングする。
• 埋め込みにフルランク制約を課すことで、崩壊回避が十分であることを示し、ワイドニングが厳密には必要ではないことを示す。
• 停止勾配と予測子に類似した構成を含む対称的訓練フレームワークを採用し、学習の安定化を図る。これは、SimSiamと同様の構造である。
• 計算コストの低減と、特に小規模バッチ設定下での一般化性能の向上を目的として、ランダムグループ分割を導入する。
• ImageNetおよびCOCOでの評価に際して、標準的なデータ拡張とResNetバックボーンを用いる。

実験結果

リサーチクエスチョン

• RQ1 理論的保証はあるが、なぜ一部のワイドニング変換が次元の崩壊を防げないのか？
• RQ2 自己教師あり学習におけるバッチワイドニングが導入する真のインダクティブバイアスは何か？
• RQ3 バッチワイドニングの大きなバッチサイズ要件を回避しつつ、崩壊回避効果を維持できるワイドニングベースの手法は存在するか？
• RQ4 チャネルワイドニングにおけるランダムグループ分割は、全バッチワイドニングに比べて表現学習をどのように改善するか？
• RQ5 自己教師あり学習におけるフルランク埋め込みと崩壊回避の関係は何か？

主な発見

• CW-RGPはCOCOオブジェクト検出で60.5 AP、インスタンスセグメンテーションで57.3 APを達成し、SimSiam や MoCo v2 などの最先端手法を上回るか同等の性能を示した。
• 標準的なチャネルワイドニングと比較して、CIFAR-100における線形評価と5-NN精度はそれぞれ1.25ポイントおよび1.29ポイント向上した。
• バッチサイズが32および64の場合に、バッチワイドニングよりもCW-RGPが小規模バッチサイズに対してより頑健で、顕著な精度低下が少なかった。
• アブレーションスタディの結果、固定グループ分割や標準的なチャネルワイドニングに比べ、ランダムグループ分割が性能向上に寄与することが確認された。
• バッチワイドニング手法は真のワイドニング制約を課していない。代わりに、埋め込みがフルランクであることのみを要件としており、これは崩壊回避に十分である。
• 理論的分析により、バッチワイドニングの主要なメカニズムはワイドニングそのものではなく、フルランク性であることが明らかになった。これにより、このような手法の実験的成功が説明できる。