[論文レビュー] Stitcher: Feedback-driven Data Provider for Object Detection

Yukang Chen, Peizhen Zhang+7 more|arXiv (Cornell University)|Apr 26, 2020

Advanced Neural Network Applications参考文献 12被引用数 42

ひとこと要約

Stitcher は、画像を再サイズして小要素に分解し、再構成することで、小サイズの物体が学習損失により寄与するようにするフィードバック駆動型のデータ拡張手法であり、オブジェクト検出性能を向上させる。計算コストの増加がほとんどないにもかかわらず、検出器、バックボーン、データセット、タスクのあらゆる分野で一貫した性能向上を達成する。特に小サイズの物体に対して顕著な向上が見られる。

ABSTRACT

Object detectors commonly vary quality according to scales, where the performance on small objects is the least satisfying. In this paper, we investigate this phenomenon and discover that: in the majority of training iterations, small objects contribute barely to the total loss, causing poor performance with imbalanced optimization. Inspired by this finding, we present Stitcher, a feedback-driven data provider, which aims to train object detectors in a balanced way. In Stitcher, images are resized into smaller components and then stitched into the same size to regular images. Stitched images contain inevitable smaller objects, which would be beneficial with our core idea, to exploit the loss statistics as feedback to guide next-iteration update. Experiments have been conducted on various detectors, backbones, training periods, datasets, and even on instance segmentation. Stitcher steadily improves performance by a large margin in all settings, especially for small objects, with nearly no additional computation in both training and testing stages.

研究の動機と目的

• 小サイズの物体が損失にほとんど寄与しないため、最適化が不均衡になるオブジェクト検出器の学習問題に対処すること。
• 小サイズの物体が学習損失により多く寄与するようにすることで、最適化のバランスを改善すること。
• 計算コストを増加させずに、損失のフィードバックを用いて動的に学習を誘導するデータ拡張手法を設計すること。
• 検出器、バックボーン、データセット、タスク（インスタンスセグメンテーションを含む）の多様な環境において、有効性を評価すること。

提案手法

• 画像が小要素に分割され、元のサイズに再構成されることで、小サイズの物体が保持された新しい学習サンプルが生成される。
• 各学習イテレーションにおける損失統計をフィードバックとして用い、次のイテレーションにおけるデータサンプリングと最適化を誘導する。
• 再サイズと再構成のプロセスにより、スターチド画像に inherently より小さな物体が含まれるようになり、学習におけるその表現が増加する。
• フィードバック機構により、小サイズの物体が損失により多く寄与するサンプルのサンプリングを優先することで、最適化のバランスが向上する。
• アーキテクチャ、バックボーン、学習スケジュールに依存しないため、広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 なぜオブジェクト検出における小サイズの物体は、性能に重要であるにもかかわらず、最適化が不十分になるのか？
• RQ2 学習イテレーションからの損失統計をフィードバックとして用いることで、オブジェクトサイズごとの最適化バランスを再調整できるか？
• RQ3 画像スターチングによるデータ拡張は、最適化のバランスと検出精度、特に小サイズの物体に対して向上をもたらすか？
• RQ4 このような手法は、推論コストを増加させることなく、検出器、バックボーン、データセットのあらゆる分野に普遍的に適用可能か？

主な発見

• Stitcher は、評価されたすべての検出器とデータセットにおいて、小サイズ物体の検出性能を顕著に向上させる。
• mAP に一貫した向上が見られ、特に小サイズ物体の AP で最大の向上が観察され、最適化のバランスが改善されたことが示唆される。
• さまざまな学習期間、バックボーン、データセットにおいても性能向上が維持され、その頑健性が裏付けられる。
• 訓練時および推論時において、ほぼ追加の計算コストが発生しないため、実世界の展開において実用的である。