[論文レビュー] Rethinking Training from Scratch for Object Detection

Yang Li, Hong Zhang+1 more|arXiv (Cornell University)|Jun 6, 2021

Advanced Neural Network Applications参考文献 31被引用数 6

ひとこと要約

本稿では、直接検出用事前学習（direct detection pre-training）を提案する。これは、高解像度の入力を用いた微調整の前に、ターゲット検出データセットから低解像度の画像を用いてオブジェクト検出器を直接事前学習する、新しいトレーニングパイプラインである。事前学習段階で大規模バッチとバッチ正規化を可能にすることで、COCO上での事前学習を11倍以上高速化し、ImageNet事前学習と比較して+1.8 mAPを達成した。また、限られたGPUメモリ（11GB）でも効率的に動作する。

ABSTRACT

The ImageNet pre-training initialization is the de-facto standard for object detection. He et al. found it is possible to train detector from scratch(random initialization) while needing a longer training schedule with proper normalization technique. In this paper, we explore to directly pre-training on target dataset for object detection. Under this situation, we discover that the widely adopted large resizing strategy e.g. resize image to (1333, 800) is important for fine-tuning but it's not necessary for pre-training. Specifically, we propose a new training pipeline for object detection that follows `pre-training and fine-tuning', utilizing low resolution images within target dataset to pre-training detector then load it to fine-tuning with high resolution images. With this strategy, we can use batch normalization(BN) with large bath size during pre-training, it's also memory efficient that we can apply it on machine with very limited GPU memory(11G). We call it direct detection pre-training, and also use direct pre-training for short. Experiment results show that direct pre-training accelerates the pre-training phase by more than 11x on COCO dataset while with even +1.8mAP compared to ImageNet pre-training. Besides, we found direct pre-training is also applicable to transformer based backbones e.g. Swin Transformer. Code will be available.

研究の動機と目的

• スクラッチからのオブジェクト検出のための、より高速で効率的なトレーニングパイプラインを開発すること。ImageNet事前学習に依存しないようにすること。
• 特に高解像度設定における小バッチサイズとメモリ制限の影響により、スクラッチからの検出器トレーニングが非効率であるという問題に取り組むこと。
• 完全なバウンディングボックスおよびマスクアノテーションを用いて、ターゲット検出データセットに直接事前学習を行うことで、ImageNet事前学習を上回る性能が得られるかどうかを検討すること。
• バッチ正規化を用いた低解像度事前学習により、限られたGPUメモリ（例：11GB/GPU）でも効果的なトレーニングを可能にすること。
• CNNおよびSwin Transformerを含む多様なアーキテクチャ、および低データレジームにおいて、この手法の有効性を検証すること。

提案手法

• 2段階のトレーニングパイプラインを提案：ターゲットデータセットの低解像度画像（例：640×640）を用いて、バッチ正規化と大規模バッチを活用して事前学習を行う。
• 事前学習済みモデルを、高解像度画像（例：1333×800）で標準的な検出トレーニングプロトコルに従って微調整する。
• 従来の方法が分類ラベルのみを用いるのに対し、事前学習段階でバウンディングボックスおよびマスクアノテーションの完全な監視を活用する。
• グループ正規化や同期バッチ正規化のような複雑なモジュールを避けることで、シンプルさと効率性を維持する。
• アーキテクチャの変更なしに、標準的な検出ヘッドおよびバックボーン（例：ResNeXt、Swin Transformer）を用いる。
• 粗いものから細かいものへの戦略を採用し、低解像度事前学習によって高解像度微調整の初期化品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ターゲット検出データセットに直接事前学習を行うことで、オブジェクト検出において、速度と精度の両面でImageNet事前学習を上回ることができるか？
• RQ2 ターゲットデータセットの低解像度画像を用いた場合でも、大規模バッチとバッチ正規化を事前学習段階で使用することが可能か？
• RQ3 Swin Transformerのようなトランスフォーマー基盤のバックボーンに適用した場合、直接的事前学習は有効に機能するか？
• RQ4 低データレジーム（例：COCOの1/10、PASCAL VOC）において、直接的事前学習はどの程度の性能を示すか？
• RQ5 専用のハードウェアを必要とせず、限られたGPUメモリ（例：11GB/GPU）の環境でも、直接的事前学習を効率的に展開できるか？

主な発見

• 直接的事前学習により、COCO上での事前学習段階が、従来のスクラッチからのトレーニングと比較して11倍以上高速化され、ImageNet事前学習と比較して+1.8 mAPを達成した。
• この手法はトレーニングと推論の両方を高速化する：1イテレーションあたりのトレーニング時間は0.424s（ImageNet対比0.478s）で、1080Tiでの推論速度は8.6 fpsであり、ImageNet微調整と同等の性能を示した。
• COCO上では、RetinaNet（+0.6 mAP）、Faster R-CNN（+1.9 mAP）、Cascade R-CNN（+1.2 mAP）、Swin-Tを用いたMask R-CNN（+1.2 mAP）において、すべての検出器でImageNet事前学習を上回った。
• この手法はメモリ効率が高く、8×2080Ti（11GB/GPU）のGPU環境でも動作し、従来の手法が要求するTPUや高メモリ環境を回避した。
• Swin Transformerに対しても直接的事前学習は有効であり、Swin-Tを用いた場合、COCOで45.0 mAPを達成し、ImageNet事前学習ベースライン（43.8 mAP）を上回った。
• 低データレジーム（COCOの1/10）では、直接的事前学習がImageNet事前学習を上回った（23.2 vs. 22.1 mAP）。一方、PASCAL VOCではImageNet事前学習が依然として優れており、非常に小さなデータセットでは限界があることが示された。