[論文レビュー] Improved Baselines with Momentum Contrastive Learning

Xinlei Chen, Haoqi Fan+2 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 17被引用数 2,109

ひとこと要約

この論文は SimCLR 風の改善（MLP 投影ヘッドとより強力なデータ拡張）を MoCo に組み込み、SimCLR を上回るより強力な教師なしベースラインを実現し、大規模なトレーニングバッチを必要としない。8GPUs でのメモリと時間コストも分析している。

ABSTRACT

Contrastive unsupervised learning has recently shown encouraging progress, e.g., in Momentum Contrast (MoCo) and SimCLR. In this note, we verify the effectiveness of two of SimCLR's design improvements by implementing them in the MoCo framework. With simple modifications to MoCo---namely, using an MLP projection head and more data augmentation---we establish stronger baselines that outperform SimCLR and do not require large training batches. We hope this will make state-of-the-art unsupervised learning research more accessible. Code will be made public.

研究の動機と目的

• MoCo フレームワーク内で、より強力でアクセスしやすい教師なしベースラインを動機づける。
• SimCLR に触発された改善（MLP 投影ヘッド、より強力なデータ拡張）が MoCo に転移するかを調査する。
• ImageNet 線形分類と VOC オブジェクト検出転移における性能向上を定量化する。
• 一般的なハードウェア上での MoCo ベースの改善の計算コストと実用性を評価する。

提案手法

• MoCo v2 に MLP 投影ヘッドを実装する（2048 次元の隠れ層を持つ2層 MLP）。
• SimCLR 同様のブラーを含むより強力なデータ拡張を組み込む。
• MoCo のコサイン学習率スケジューリングを検討し、ベースラインと比較する。
• ImageNet 線形分類（1-crop, 224）と VOC07+12 オブジェクト検出転移を Faster R-CNN デテクタで評価する。
• 異なるエポック数とバッチサイズの下で MoCo v1 および SimCLR と比較する。
• MLP、データ拡張、スケジューリングの影響を示すアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 MoCo に MLP 投影ヘッドを追加すると下流転送性能が改善されるか？
• RQ2 より強力なデータ拡張（ブラーを含む）は MoCo ベースの表現を改善するか？
• RQ3 非常に大きなバッチサイズを必要とせず、MoCo は SimCLR と競合するか、あるいはそれを上回る結果を出せるか？
• RQ4 これらの改善を伴う MoCo v2 の採用時のトレーニング時間とメモリのトレードオフは何か？

主な発見

case	MLP	aug+	cos	epochs	acc.	AP50	AP	AP75
(a)	✓	−	−	200	60.6	81.5	55.9	62.6
(b)	−	✓	−	200	63.4	82.2	56.8	63.2
(c)	✓	✓	−	200	67.3	82.5	57.2	63.9
(d)	✓	✓	✓	200	67.5	82.4	57.0	63.6
(e)	✓	✓	✓	800	71.1	82.5	57.4	64.0

• MoCo v2 with an MLP projection head and stronger augmentation yields higher ImageNet linear accuracy than MoCo v1 and SimCLR under the same settings.
• Using the optimal temperature (tau) with MLP improves from 60.6% to 66.2% in ImageNet linear accuracy.
• The extra augmentation alone raises ImageNet accuracy to 63.4%, while the MLP alone achieves 66.2% (with optimal tau); combining both yields 67.3%.
• With 800 pre-training epochs, MoCo v2 reaches 71.1% ImageNet accuracy, outperforming SimCLR’s 69.3% with 1000 epochs.
• On VOC object detection, MoCo v2 variants show robust transfer, with AP50/AP/AP75 comparable to or better than baseline MoCo v1 and SimCLR at similar training regimes.
• MoCo’s negative-key queue decouples batch size from negatives, enabling strong performance on standard 8-GPU hardware without requiring large-scale TPU batches.