[論文レビュー] Momentum^2 Teacher: Momentum Teacher with Momentum Statistics for Self-Supervised Learning

Zeming Li, Songtao Liu+1 more|arXiv (Cornell University)|Jan 19, 2021

Music and Audio Processing参考文献 53被引用数 11

ひとこと要約

本論文では、バッチ正規化（BN）統計に対してもモーメンタム更新を適用することで、教師ネットワークの安定性を向上させる自己教師学習手法「Momentum² Teacher」を提案する。『モーメンタムBN』— 歷史的BN統計のモーメンタムベースの更新— を導入することで、TPU や同期BNを必要とせず、小バッチ（128）での訓練のみで、ImageNet において線形評価でSOTAの74.5％のトップ1精度を達成した。

ABSTRACT

In this paper, we present a novel approach, Momentum$^2$ Teacher, for student-teacher based self-supervised learning. The approach performs momentum update on both network weights and batch normalization (BN) statistics. The teacher's weight is a momentum update of the student, and the teacher's BN statistics is a momentum update of those in history. The Momentum$^2$ Teacher is simple and efficient. It can achieve the state of the art results (74.5\%) under ImageNet linear evaluation protocol using small-batch size(\eg, 128), without requiring large-batch training on special hardware like TPU or inefficient across GPU operation (\eg, shuffling BN, synced BN). Our implementation and pre-trained models will be given on GitHub\footnote{https://github.com/zengarden/momentum2-teacher}.

研究の動機と目的

• 小バッチ自己教師学習におけるバッチ正規化の不安定性を解消し、学生-教師フレームワークにおける性能制限を克服すること。
• 最新の手法（例：BYOL）が大バッチ訓練や専用ハードウェア（例：TPU）や非効率な同期BNに依存するのを回避すること。
• ネットワーク重みに加え、BN統計に対してもモーメンタム更新を拡張することで、教師ネットワークの安定性を向上させること。
• 一般的なGPUハードウェアで使用可能な標準的で効率的な小バッチ訓練により、高性能な自己教師表現学習を可能にすること。

提案手法

• 現在のミニバッチ統計に依存するのではなく、訓練ステップにわたるバッチ統計（平均および分散）の移動平均を維持する、新しい演算「モーメンタムBN」を提案する。
• 標準の学生-教師フレームワークと同様に、学生ネットワーク重みおよび教師ネットワーク重みの両方にモーメンタム更新を適用する。
• 教師のBN統計に対してもモーメンタム更新を拡張し、歴史的バッチ統計の移動平均を用いて正規化を安定化させる。
• BN統計の履歴が微分不能であるため勾配問題を避けるために、教師ネットワークのバックプロパゲーションを維持しない。
• 効率性を確保するため、学生ネットワークには標準的な小バッチBNを使用する一方、教師ネットワークはモーメンタムBNを活用して安定的かつ正確な特徴正規化を実現する。
• 学生ネットワークをコントラスト学習またはブートストラップ学習の目的関数で訓練し、教師がターゲット表現を提供する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化統計のモーメンタムベースの更新は、学生-教師自己教師学習の安定性と性能を向上させることができるか？
• RQ2 大バッチやTPUベースの訓練に依存せずに、小バッチ（例：128）での訓練が自己教師表現学習でSOTA性能を達成できる程度はどの程度か？
• RQ3 標準BN、シャッフルBN、同期BNと比較して、モーメンタムBNは精度および訓練効率の面で優れているか？
• RQ4 提案されたMomentum² Teacherフレームワークは、さまざまな下流タスクやデータセットに一般化可能か？
• RQ5 BYOL や MoCo などの最先端自己教師モデルと比較して、線形評価および微調整ベンチマークでどのように性能を発揮するか？

主な発見

• Momentum² Teacher手法は、バッチサイズ128でのみ訓練し、線形評価プロトコルを用いたImageNetで、SOTAの74.5％のトップ1精度を達成した。
• 本手法は、シャッフルBNを用いるMoCoを上回り、大バッチ訓練やTPUハードウェアに依存しないにもかかわらず、BYOLと同等の結果を達成した。
• COCOオブジェクト検出およびインスタンスセグメンテーションにおいて、本手法は教師付き事前学習ベースラインを上回り、MoCoを大幅に上回った。
• 長尾分布を持つLVISインスタンスセグメンテーションにおいて、本手法は教師付き事前学習よりmAPを1.7ポイント向上させ、低リソースカテゴリへの強い一般化能力を示した。
• ImageNetラベルの1％および10％を使用する半教師あり学習において、本手法はそれぞれ57.7％および62.3％のトップ1精度を達成し、すべての先行自己教師および半教師あり手法を上回った。
• 本手法は、特に長時間の訓練スケジュール下で、検出およびセグメンテーションタスク、特にRetinaNet や FCOS などの密度オブジェクト検出器において、優れた転送性を示した。