[論文レビュー] BYOL works even without batch statistics

Pierre H. Richemond, Jean-Bastien Grill+9 more|arXiv (Cornell University)|Oct 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 20

ひとこと要約

この論文は、バッチ正則化（BN）が自己教師あり学習の代表的手法であるBYOLが効果的な表現を学習するために不可欠ではないことを示している。BNに代えてグループ正則化（GN）と重み標準化（WS）を用いることで、バッチ統計量に依存せずにImageNetで73.9%のトップ1精度を達成した。この結果は、表現崩壊を防ぐためにBNの内蔵された対照的効果が不可欠であるという仮説を否定する。

ABSTRACT

Bootstrap Your Own Latent (BYOL) is a self-supervised learning approach for image representation. From an augmented view of an image, BYOL trains an online network to predict a target network representation of a different augmented view of the same image. Unlike contrastive methods, BYOL does not explicitly use a repulsion term built from negative pairs in its training objective. Yet, it avoids collapse to a trivial, constant representation. Thus, it has recently been hypothesized that batch normalization (BN) is critical to prevent collapse in BYOL. Indeed, BN flows gradients across batch elements, and could leak information about negative views in the batch, which could act as an implicit negative (contrastive) term. However, we experimentally show that replacing BN with a batch-independent normalization scheme (namely, a combination of group normalization and weight standardization) achieves performance comparable to vanilla BYOL ($73.9\%$ vs. $74.3\%$ top-1 accuracy under the linear evaluation protocol on ImageNet with ResNet-$50$). Our finding disproves the hypothesis that the use of batch statistics is a crucial ingredient for BYOL to learn useful representations.

研究の動機と目的

• BNがBYOLが表現崩壊を回避し、高い性能を達成するために不可欠であるかどうかを調査すること。
• BNがバッチ要素間の勾配フローを通じて暗黙の対照的項を提供することで、表現崩壊を防いでいるという仮説を検証すること。
• BNを代替する正則化手法が、BYOLで競争力のある性能を維持できるかどうかを評価すること。
• BNの欠如を補うために適切な重み初期化がどれほど効果的であるかを特定すること。
• バッチ統計量に依存しない状況でも、BNとBNフリーの設定間の性能差を埋め合わせられるかどうかを評価すること。

提案手法

• BYOLのすべてのバッチ正則化（BN）層をグループ正則化（GN）と重み標準化（WS）に置き換え、学習中にバッチ統計量を計算しないようにした。
• BNのスケーリング効果を保持するように変更された重み初期化スキームを用い、初期バッチ統計量に基づいてスケールおよびシフトパラメータを初期化したが、学習中にそれらを計算しなかった。
• 調整されたハイパーパrameterでモデルを学習：ウォームアップエポック数を50に増加、重み減衰を3×10⁻⁸に調整、ベース学習率を0.24に設定、ターゲット更新レートを0.999に設定。
• 1000エポック後に線形評価プロトコルを用いてImageNetで性能を評価した。
• 4つのバリエーション（通常のBN、正則化なし、BNなしの変更済み初期化、BNなしのGN+WS）の結果を比較した。
• 最適化安定性と表現品質におけるBNの役割を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 BYOLが表現崩壊を回避するためにバッチ正則化（BN）が必要か？
• RQ2 BNがバッチ統計量を通じて、表現崩壊を防ぐ暗黙の対照的信号を提供しているか？
• RQ3 グループ正則化や重み標準化といった代替正則化手法が、BNを代替してBYOLで性能を維持できるか？
• RQ4 適切な重み初期化が、BNの欠如をどれほど補えるか？
• RQ5 学習プロセス中にバッチ統計量に依存しないBYOLが、高い性能を達成できるか？

主な発見

• BNを完全に削除し、変更済みの重み初期化スキームに置き換えた場合、線形評価でImageNetで65.7%のトップ1精度を達成した。BNなしでも表現崩壊を回避できることを示している。
• BNをグループ正則化と重み標準化に置き換えることで、BNとBNフリーの性能差が顕著に縮小され、73.9%のトップ1精度を達成した。これは通常のBYOLの74.3%に非常に近い。
• GN+WSバージョンでは学習中にバッチ統計量を計算しないため、バッチ統計量による暗黙の対照的項が高性能に必要ではないことを実証した。
• BN層を完全に削除した場合、性能はほぼランダム（0.1%のトップ1精度）にまで崩壊した。BNの役割が単なるアーキテクチャ的要因ではなく、訓練安定性に不可欠であることを確認した。
• BNの主な機能が、表現の最適化ダイナミクスを安定化させることであることが確認された。対照的信号を提供するものではない。
• BNの勾配がバッチ要素間を流れることで暗黙の負例項として機能するとする仮説は、この結果によって否定された。バッチ統計量の勾配漏れがなくても、性能は依然として高いままである。