[論文レビュー] Dynamic Scale Training for Object Detection

Yukang Chen, Peizhen Zhang+6 more|arXiv (Cornell University)|Apr 26, 2020

Advanced Neural Network Applications参考文献 42被引用数 24

ひとこと要約

本論文は、オブジェクト検出におけるスケール変動を軽減するために、リアルタイムの損失割合に基づいてコラージュベースのデータ準備を動的に調整するフィードバック駆動型データオーグメンテーション手法であるDynamic Scale Training (DST) を提案する。最適化フィードバックで補正することで、推論のオーバーヘッドを伴わず、MS COCOで2%以上のmAP向上を達成し、収束が速く、バックボーンやタスクにわたって一般化可能である。

ABSTRACT

We propose a Dynamic Scale Training paradigm (abbreviated as DST) to mitigate scale variation challenge in object detection. Previous strategies like image pyramid, multi-scale training, and their variants are aiming at preparing scale-invariant data for model optimization. However, the preparation procedure is unaware of the following optimization process that restricts their capability in handling the scale variation. Instead, in our paradigm, we use feedback information from the optimization process to dynamically guide the data preparation. The proposed method is surprisingly simple yet obtains significant gains (2%+ Average Precision on MS COCO dataset), outperforming previous methods. Experimental results demonstrate the efficacy of our proposed DST method towards scale variation handling. It could also generalize to various backbones, benchmarks, and other challenging downstream tasks like instance segmentation. It does not introduce inference overhead and could serve as a free lunch for general detection configurations. Besides, it also facilitates efficient training due to fast convergence. Code and models are available at github.com/yukang2017/Stitcher.

研究の動機と目的

• データ分布の不均衡により、小規模オブジェクトが不足し、検出が困難なスケール変動の継続的課題に対処する。
• トレーニング中に動的に連携できない静的データオーグメンテーションおよびモデル最適化戦略の限界を克服する。
• 最適化フィードバックに基づいてリアルタイムでデータ準備を適応的に変更するトレーニングパラダイムを構築し、少数スケールオブジェクトの検出性能を向上させる。
• モデルアーキテクチャや推論パイプラインを変更せずに、異なるバックボーン、データセット、およびインスタンスセグメンテーションなどの下流タスクに普遍的に適用可能であることを保証する。
• 収束が速く、精度と速度のトレードオフが向上し、検出精度を維持または向上させる。

提案手法

• コラージュ形式のダウンスケール画像を用いた動的データオーグメンテーション戦略を導入し、小規模オブジェクトのパターン多様性を高める。
• 小規模オブジェクトの損失割合をフィードバック信号として用い、トレーニング中にコラージュオーグメンテーションをいつ、どの程度適用するかを決定する。
• しきい値ベースの意思決定ルールを適用：小規模オブジェクトの損失割合が学習済みしきい値 τ=0.1 を超える場合、最適化バイアスを是正するためにコラージュオーグメンテーションを有効化する。
• リアルタイムのパフォーマンス指標に基づいてコラージュ使用頻度を動的に制御し、適応的かつ応答性の高いデータ準備を実現する。
• 多様性と計算コストのバランスを考慮し、1コラージュあたり4つのコンポーネント画像（k=4）を固定して使用する。
• モデルアーキテクチャや推論パイプラインを変更せずに、ResNet-50 と FPN を搭載した標準的な検出器（Faster R-CNN）に統合する。

実験結果

リサーチクエスチョン

• RQ1 フィードバック駆動型で動的に変化するデータオーグメンテーションは、静的マルチスケールトレーニングと比較して、小スケールオブジェクトの検出性能を向上させることができるか？
• RQ2 最適化フィードバックをデータ準備に統合することで、異なるバックボーンやデータセットにおいて収束が速くなり、一般化性能が向上するか？
• RQ3 提案手法は、モデルを変更せず、推論コストを追加せずにインスタンスセグメンテーションの性能を向上させることができるか？
• RQ4 損失統計に基づく動的調整によるデータオーグメンテーションが、スケール固有の最適化のバランスにどのように影響するか？
• RQ5 動的オーグメンテーションを有効化する最適なしきい値 τ は何か？また、その値がトレーニングの安定性とパフォーマンスに与える影響は？

主な発見

• DSTは、ResNet-50 と FPN を搭載したベースライン Faster R-CNN と比較して、MS COCO で2.0%以上のmAP向上を達成し、小規模オブジェクトにおいて顕著な改善（APsは21.1から24.4に上昇）を示した。
• 本手法は収束を速め、mAPが同じ水準に達するまでの反復回数を90k回から50k回に短縮し、トレーニング時間をほぼ半減した。
• 入力解像度を (512, 853) に縮小した場合、DSTは37.0 mAPを維持しながら、(800, 1333) 解像度のベースラインより1.6倍速く処理可能であり、優れた速度-精度トレードオフを示した。
• 異なるバックボーンやタスクにわたって一般化が良く、モデルの変更なしにインスタンスセグメンテーションの性能を向上させた。
• コラージュコンポーネントから極小オブジェクト（面積 < 100ピixels）を除外してもパフォーマンスにほとんど影響がなく（除外前後でAP: 38.6）、ノイズに強く頑健であることが示された。
• 損失割合分析により、DSTがスケール間の最適化を効果的にバランスさせ、小規模オブジェクトの極めて低い損失を示すトレーニングイテレーションの割合（>50%からほぼゼロに低下）を減少させたことが確認された。