[論文レビュー] Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning

Zhaowei Cai, Avinash Ravichandran+4 more|arXiv (Cornell University)|Jan 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 8

ひとこと要約

本論文は、学生・教師自己教師ありおよび半教師あり学習フレームワークにおけるバッチ正規化の即座の置き換えとして、指数移動平均正規化（EMAN）を提案する。EMANは、教師ネットワーク内のバッチ統計を、学生のバッチ正規化統計からの指数移動平均統計に置き換えることで、サンプル間依存性を低減し、一般化性能を向上させる。ImageNetで1%および10%のラベルを用いた際、MoCoとBYOLではそれぞれ4–6点および1–2点、FixMatchでは7点および2点の向上を達成し、新たなSOTA結果を実現した。

ABSTRACT

We present a plug-in replacement for batch normalization (BN) called exponential moving average normalization (EMAN), which improves the performance of existing student-teacher based self- and semi-supervised learning techniques. Unlike the standard BN, where the statistics are computed within each batch, EMAN, used in the teacher, updates its statistics by exponential moving average from the BN statistics of the student. This design reduces the intrinsic cross-sample dependency of BN and enhances the generalization of the teacher. EMAN improves strong baselines for self-supervised learning by 4-6/1-2 points and semi-supervised learning by about 7/2 points, when 1%/10% supervised labels are available on ImageNet. These improvements are consistent across methods, network architectures, training duration, and datasets, demonstrating the general effectiveness of this technique. The code is available at https://github.com/amazon-research/exponential-moving-average-normalization.

研究の動機と目的

• 自己教師ありおよび半教師あり学習における学生・教師フレームワーク内でのバッチ正規化（BN）におけるサンプル間依存性を解消すること。
• 非同期更新に起因する教師のパラメータとBN統計の不一致を解消すること。
• 複雑な同期化や通信を必要とせず、シンプルで効率的かつ汎用的な正規化手法を開発し、一般化性能を向上させること。
• さまざまな自己教師ありおよび半教師あり学習手法、アーキテクチャ、データセットにおいて性能を向上させること。
• BNの軽量で即座に使える置き換えとして、最小限のラベルデータを用いてImageNetでSOTAの精度を達成すること。

提案手法

• EMANは、教師ネットワーク内のバッチ統計を、時間経過とともに学生のバッチ正規化統計から得られる指数移動平均統計に置き換える。
• 教師の正規化統計（平均および分散）は、モデルパラメータの平均化に用いられるのと同じモーメントを用いた指数移動平均（EMA）によって更新される。
• この設計により、教師の正規化が現在のバッチに依存しなくなり、従来のBNに内在するサンプル間依存性が解消される。
• 追加計算を伴わないシンプルな線形変換として実装されるため、効率的かつ既存のフレームワークと互換性がある。
• EMANは教師ネットワークでのみ適用され、学生の標準バッチ正規化はそのままであり、コード変更は最小限に抑えられる。
• MoCo、BYOL、FixMatchを含む、さまざまな自己教師ありおよび半教師あり学習手法と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワーク内のバッチ正規化を指数移動平均統計に置き換えることで、自己教師ありおよび半教師あり学習における一般化性能が向上するか？
• RQ2 教師の正規化におけるサンプル間依存性を排除することで、より良い表現学習と高い精度が達成されるか？
• RQ3 アーキテクチャやハイパーパrameterの変更なしに、EMANが多様なアーキテクチャ、学習期間、データセットにおいて性能向上をもたらすか？
• RQ4 SyncBN や ShuffleBN といった複雑な正規化方式と比較して、EMANは精度と効率の面で優れているか？
• RQ5 EMANは、正規化統計とモデルパラメータを整合させることで、EMA教師フレームワークの頑健性を向上させるか？

主な発見

• 1%および10%のImageNetラベルを用いた自己教師あり学習において、EMANはMoCoで4–6ポイント、BYOLで1–2ポイントの向上を示し、顕著な性能向上を実現した。
• 1%および10%のラベルを用いたFixMatchにおいて、EMANはそれぞれ約7ポイントおよび2ポイントの向上を達成し、トップ1精度63.0%および74.0%という新たなSOTAを達成した。
• 性能向上は、さまざまなネットワークアーキテクチャ、学習期間、データセットにおいて一貫しており、広範な適用可能性を示している。
• EMANはGPU間の通信や同期を必要とせず、従来のバッチ正規化と同等の効率性を持つ。
• 訓練のダイナミクスからは、EMANを用いることで損失が高く、インスタンス識別精度が低くなる傾向が見られ、モデルの「だまし」を防ぎ、表現品質を向上させていると示唆される。
• 最良の性能は通常、学習エポックの90%前後で得られるため、EMANを用いる際にはチェックポイントの選択を注意深く行う必要がある。