[論文レビュー] Empirical Upper Bound in Object Detection and More

Ali Borji, Seyed Mehdi Iranmanesh|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 60被引用数 19

ひとこと要約

この論文は、VOCでは91.6%、COCOでは78.2%、OpenImages V4では58.9%の物体検出mAPの経験的上限を確立し、現在のモデルと理論的限界の間には顕著なギャップがあることを示した。主な障壁は分類エラーであり、特に小形物体に対して顕著で、ぼかしや垂直反転などの変換に対してモデルが頑健でないことが判明し、認識が検出の核心的課題であることが浮き彫りになった。

ABSTRACT

Object detection remains as one of the most notorious open problems in computer vision. Despite large strides in accuracy in recent years, modern object detectors have started to saturate on popular benchmarks raising the question of how far we can reach with deep learning tools and tricks. Here, by employing 2 state-of-the-art object detection benchmarks, and analyzing more than 15 models over 4 large scale datasets, we I) carefully determine the upperbound in AP, which is 91.6% on VOC (test2007), 78.2% on COCO (val2017), and 58.9% on OpenImages V4 (validation), regardless of the IOU. These numbers are much better than the mAP of the best model1 (47.9% on VOC, and 46.9% on COCO; IOUs=.5:.95), II) characterize the sources of errors in object detectors, in a novel and intuitive way, and find that classification error (confusion with other classes and misses) explains the largest fraction of errors and weighs more than localization and duplicate errors, and III) analyze the invariance properties of models when surrounding context of an object is removed, when an object is placed in an incongruent background, and when images are blurred or flipped vertically. We find that models generate boxes on empty regions and that context is more important for detecting small objects than larger ones. Our work taps into the tight relationship between recognition and detection and offers insights for building better models.

研究の動機と目的

• IoUに依存しない、主なベンチマークにおける平均平均精度（mAP）の経験的上限を特定すること。
• 検出性能を制限する主なエラー種別（分類誤り、局所化誤り、重複、欠落）を同定・定量すること。
• ぼかし、垂直反転、文脈除去などの画像変換に対するオブジェクト検出器の不変性を評価すること。
• 周囲の文脈や重複するボックスが検出性能の上限を向上させるかどうかを評価すること。
• オブジェクト検出におけるモデルの弱みを特定する汎用的な診断ツールを提供すること。

提案手法

• 経験的上限（UAP）は、アノテーション済みボクセルボックス上で訓練された最先端の画像認識モデルを用い、テストセットのオブジェクトに対してクラスラベルを予測し、その予測結果からmAPを計算することで推定される。
• エラー種別の定量には、特定のエラー状態（例：誤分類、欠落検出）をテストセットに意図的に導入または分離した際の性能低下を測定することで行う。
• 頑健性の評価は、画像にクロップ、ぼかし、垂直反転、不整合な背景を適用し、複数のモデルにおけるmAP低下を測定することで実施する。
• 文脈の影響を分析するためのアブレーションスタディを実施し、周囲の画像文脈を含む・含まない状況での検出性能を比較した。
• 検出タスク全体を通じてエラー寄与度を分離することで、モデルの弱みを体系的に評価する診断ツールを開発した。
• 4つの大規模データセット（VOC（test2007）、COCO（val2017）、OpenImages V4（検証）、不整合な背景を有するカスタムデータセット）でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 IoUに依存しない、主なベンチマークにおける物体検出mAPの経験的上限は何か？
• RQ2 分類誤り、局所化誤り、重複、欠落検出のうち、どのタイプのエラーが検出性能を最も顕著に制限するか？
• RQ3 ぼかし、垂直反転、スケール変更などの画像変換に対してオブジェクト検出器はどのように性能を示すか？
• RQ4 周囲の文脈や重複するボックスが検出性能の上限を向上させるか？
• RQ5 現在の検出モデルは、分布外の画像摂動に対してどの程度一般化可能か？

主な発見

• mAPの経験的上限は、VOC（test2007）で91.6%、COCO（val2017）で78.2%、OpenImages V4（検証）で58.9%であり、COCOで報告された最高のモデルmAP（51.0%）よりも顕著に高い。
• 分類誤り（誤分類や欠落検出を含む）が、局所化誤りや重複検出誤りよりも性能低下に寄与している。
• 小形物体は特に脆弱であり、スケール変更や変換に対して検出性能が著しく低下するため、スケールが主な障壁であると判明した。
• モデルは空の領域や不整合な背景に対しても誤検出を生成し、文脈的推論に依存していないことが示された。
• 垂直反転やガウスノイズによるぼかしは、mAPを最大60%まで低下させることがあり、幾何的および外観的変化に対して著しく頑健でないことが明らかになった。
• 最高性能を発揮するモデル（例：FCOS、RetinaNet）ですら、UAPから15～30ポイントの差を示しており、特に小形物体では顕著な向上の余地があることが示された。