[論文レビュー] MegDet: A Large Mini-Batch Object Detector

Chao Peng, Tete Xiao+6 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Neural Network Applications参考文献 34被引用数 29

ひとこと要約

MegDet は、128台のGPUを用いてミニバッチサイズ256まで拡大可能な大規模ミニバッチオブジェクト検出フレームワークを提案する。COCO 2017で52.5 mmAPを達成し、トレーニング時間を33時間からたったの4.1時間に短縮した。トレーニングの安定性とスケール時の精度向上のため、ウォームアップ学習率ポリシーとクロスGPUバッチ正則化（CGBN）を導入した。

ABSTRACT

The improvements in recent CNN-based object detection works, from R-CNN [11], Fast/Faster R-CNN [10, 31] to recent Mask R-CNN [14] and RetinaNet [24], mainly come from new network, new framework, or novel loss design. But mini-batch size, a key factor in the training, has not been well studied. In this paper, we propose a Large MiniBatch Object Detector (MegDet) to enable the training with much larger mini-batch size than before (e.g. from 16 to 256), so that we can effectively utilize multiple GPUs (up to 128 in our experiments) to significantly shorten the training time. Technically, we suggest a learning rate policy and Cross-GPU Batch Normalization, which together allow us to successfully train a large mini-batch detector in much less time (e.g., from 33 hours to 4 hours), and achieve even better accuracy. The MegDet is the backbone of our submission (mmAP 52.5%) to COCO 2017 Challenge, where we won the 1st place of Detection task.

研究の動機と目的

• オブジェクト検出における小規模ミニバッチトレーニングの非効率性と不正確さ（トレーニング速度の制限およびバッチ正則化統計の問題）を解消する。
• 大規模ミニバッチ検出器のトレーニングにおける課題に取り組む。大規模な学習率は不安定を引き起こし、小規模な学習率は収束を妨げる。
• 精度を損なわせることなく、ミニバッチサイズ256および128台のGPUにスケーリングすることで、より速いトレーニングサイクルを実現する。
• クロスGPUバッチ正則化（CGBN）を導入することで、オブジェクト検出におけるバッチ正則化統計を改善する。

提案手法

• 大規模ミニバッチでのトレーニングを安定化させるために、初期学習率を段階的に増加させるウォームアップ学習率ポリシーを導入する。
• 複数のGPUにまたがるバッチ統計を統合することで、BNの精度とトレーニングの安定性を向上させるクロスGPUバッチ正則化（CGBN）を提案する。
• オブジェクト検出における同等の損失分散を維持するという新たな解釈に基づき、線形スケーリング則を適用する。
• 収束性と最終的な精度を向上させるために、長期間のトレーニングポリシーと学習率の減少を適用する。
• BNサイズが32を超える場合に、BN統計のメモリ使用量を非線形に制限することで計算オーバーヘッドを低減する。
• CGBNをOHEM、アトラスコンボリューション、マルチスケールトレーニング、強化されたバックボーンと組み合わせることで、モデル性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模ミニバッチトレーニングを、精度の低下を最小限に抑えつつ、顕著な高速化を実現するオブジェクト検出に成功するか？
• RQ2 大規模ミニバッチ設定において、標準的なBNと比較してクロスGPUバッチ正則化（CGBN）は、トレーニングの安定性と精度をどのように向上させるか？
• RQ3 COCOにおける大規模ミニバッチオブジェクト検出の最適なバッチサイズとBN統計サイズは何か？
• RQ4 ウォームアップ学習率ポリシーは、大規模ミニバッチでのオブジェクト検出におけるトレーニングを効果的に安定化させるか？
• RQ5 収束速度と最終的な精度の観点から、大規模ミニバッチトレーニングは、標準的な小規模ミニバッチトレーニングと比較してどのように異なるか？

主な発見

• 128台のGPUを用いてミニバッチサイズ256でトレーニングしたMegDetは、COCO 2017のテストデブで52.5 mmAPを達成し、検出チャレンジで1位を獲得した。
• トレーニング時間は、ベースライン（8台のGPUでバッチサイズ16）の33.2時間から、256バッチサイズで128台のGPUを用いた場合の4.1時間に短縮され、8倍の高速化が達成された。
• 最高のパフォーマンスはBNサイズ32で達成された。BNサイズが2、4、8など小さい場合、統計が不十分なため精度が低下するが、64など大きいサイズでも性能が低下する。
• ウォームアップ学習率ポリシーにより、大規模ミニバッチでのトレーニングが安定化し、高い学習率でも収束が可能になった。
• CGBNは、特に大規模ミニバッチ設定において、トレーニングの安定性と精度を顕著に向上させ、異なるバッチサイズでも一貫したパフォーマンスを発揮した。
• 長期間のトレーニングポリシー（例：256（長））は、精度をわずかに向上させた（37.7 vs. 37.1 mmAP）と同時に、大規模ミニバッチ設定において一貫した収束を示した。