[論文レビュー] Complementary datasets to COCO for object detection

Ali Borji|arXiv (Cornell University)|Jun 23, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、COCOオブジェクト検出ベンチマークにおける性能の飽和を解消するために、補完的な2つのデータセット—COCO_OI および ObjectNet_D—を導入する。COCO_OI は COCO と OpenImages (80個の共通クラス) を統合し、トレーニングデータ量を80%増加させる。一方、ObjectNet_D は、汎化性能のテストに適した現実世界の多様な視点からの画像を提供する。モデルはこれらのデータセットで顕著な性能低下を示し、COCOを越えた耐障害性と汎化性能の限界を浮き彫りにする。

ABSTRACT

For nearly a decade, the COCO dataset has been the central test bed of research in object detection. According to the recent benchmarks, however, it seems that performance on this dataset has started to saturate. One possible reason can be that perhaps it is not large enough for training deep models. To address this limitation, here we introduce two complementary datasets to COCO: i) COCO_OI, composed of images from COCO and OpenImages (from their 80 classes in common) with 1,418,978 training bounding boxes over 380,111 images, and 41,893 validation bounding boxes over 18,299 images, and ii) ObjectNet_D containing objects in daily life situations (originally created for object recognition known as ObjectNet; 29 categories in common with COCO). The latter can be used to test the generalization ability of object detectors. We evaluate some models on these datasets and pinpoint the source of errors. We encourage the community to utilize these datasets for training and testing object detection models. Code and data is available at https://github.com/aliborji/COCO_OI.

研究の動機と目的

• COCOにおける性能の飽和を解消するため、より大規模かつ多様なデータセットをトレーニングおよび評価に活用する。
• 実際の日常的なオブジェクトの状況、多様な視点および背景を含めることで、モデルの汎化性能を向上させる。
• 標準的な COCO ベンチマークを超えたオブジェクト検出器の失敗モードを診断できるバリデーションセットを構築する。
• コミュニティがこれらのデータセットを活用して、オブジェクト検出モデルの耐障害性を向上させるトレーニングおよび評価を促進する。

提案手法

• COCO_OI は、80個の共通クラスを用いて COCO と OpenImages をマージすることで構築され、頻度の高いクラス（人、車、いすなど）を除くことでデータの偏りを回避する。
• OpenImages からの画像は、アスペクト比を維持するようにリサイズされ、最大寸法が640ピクセルに制限され、COCO の画像サイズ分布と整合性を保つ。
• ObjectNet_D は、ObjectNet データセットの 5,875 枚の画像を手動でアノテーションし、COCO と共通する29のカテゴリを選び、1枚の画像に1つのオブジェクトを含める。
• TIDE という検出性能の診断ツールを用いた体系的な誤差分析を可能にするために、両データセット用の新しいバリデーションセットを確立する。
• OpenImages および ObjectNet のカテゴリを COCO の80クラスに一致させるためのクラスマッピングを定義し、データセット間の評価を可能にする。
• データセットは、ObjectNet_D におけるモデルのファインチューニングに関する制限を含む、完全なライセンス情報を含めて公開される。

実験結果

リサーチクエスチョン

• RQ1 COCO と OpenImages を統合することで、オブジェクト検出性能を向上させるより大規模かつ多様なトレーニングデータセットを構築できるか？
• RQ2 最先端のオブジェクト検出器は、多様な視点および背景を持つ現実世界の日常的状況にどれほど汎化できるか？
• RQ3 COCO とは異なり、COCO_OI および ObjectNet_D で評価した場合、現在の検出器の主な失敗モードは何か？
• RQ4 ObjectNet_D から作成された専用のバリデーションセットは、モデルの耐障害性および汎化性能の限界を効果的に診断できるか？

主な発見

• EfficientDet は COCO で 51.2 AP を達成したが、COCO_OI では 44.0 AP に低下し、拡張されたデータセットでの顕著な性能低下を示している。
• ObjectNet_D では、EfficientDet の AP は 23.9 に低下し、AP_S は 0.0 にまで下がり、大規模なオブジェクトスケールと複雑な背景の影響で小サイズオブジェクトの検出に著しく失敗していることが判明した。
• DetectoRS も同様の傾向を示し、COCO_OI では 51.5 AP、ObjectNet_D では 20.3 AP を記録し、耐障害性の問題がモデルに依存しないことを確認した。
• TIDE を用いた誤差分析により、モデルは小サイズオブジェクトや複雑なシーンでより多く失敗することが判明した。特に、ObjectNet_D ではオブジェクトが大きく、非標準的な視点から撮影されているため顕著だった。
• ObjectNet_D における性能低下、特に AP_S がほぼゼロに近いことから、現在の検出器はごみだらけの現実世界のシーンにおける小サイズオブジェクトの検出に苦労していることが示唆された。
• 本研究は、データの多様性と現実世界の変動が、汎化性能を向上させるために不可欠であることを確認した。また、COCO や他の同様のベンチマークでは、検出の課題を完全に捉えていない可能性がある。