[論文レビュー] What's in the Black Box? The False Negative Mechanisms Inside Object Detectors

Dimity Miller, Peyman Moghadam+3 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Neural Network Applications参考文献 26被引用数 21

ひとこと要約

本論文は、2段階（Faster R-CNN）および1段階（RetinaNet）のアンカーボックスオブジェクト検出器において、5つの内部偽陰性メカニズムを特定し、検出器が物体を検出できない理由を診断するフレームワークを提案する。検出器の偽陰性メカニズムは、ベンチマークデータセット（例：COCO）と実世界のロボティクスシナリオ（例：SubT, iCubWorldT）で顕著に異なることが明らかになった。特に、ベンチマークでは優れたパフォーマンスを示すにもかかわらず、ロボティクス環境では背景分類が支配的である。

ABSTRACT

In object detection, false negatives arise when a detector fails to detect a target object. To understand why object detectors produce false negatives, we identify five 'false negative mechanisms', where each mechanism describes how a specific component inside the detector architecture failed. Focusing on two-stage and one-stage anchor-box object detector architectures, we introduce a framework for quantifying these false negative mechanisms. Using this framework, we investigate why Faster R-CNN and RetinaNet fail to detect objects in benchmark vision datasets and robotics datasets. We show that a detector's false negative mechanisms differ significantly between computer vision benchmark datasets and robotics deployment scenarios. This has implications for the translation of object detectors developed for benchmark datasets to robotics applications. Code is publicly available at https://github.com/csiro-robotics/fn_mechanisms

研究の動機と目的

• ブラックボックスな誤差分類を超えて、オブジェクト検出器が偽陰性を生じる理由を理解すること。
• オブジェクト検出器の特定の内部コンponentの故障が、偽陰性を引き起こす理由を診断すること。
• 標準的なコンピュータビジョンベンチマークと実世界のロボティクスデプロイメントとの間で、偽陰性メカニズムがどのように異なるかを調査すること。
• ロボティクスアプリケーションにおけるより高い耐障害性を実現するための検出器設計およびトレーニング戦略を支援すること。

提案手法

• オブジェクト検出器アーキテクチャ内に存在する5つの明確に異なる偽陰性メカニズムを特定・定量化するフレームワークを提案する。
• アンカーボックスベースのアーキテクチャを用いた2段階（Faster R-CNN）および1段階（RetinaNet）の検出器を分析する。
• 偽陰性がどの内部コンponentの失敗に起因するかに基づいて分類：プロポーザルプロセス、リージョンリグレッサー、背景分類器、分類器キャリブレーション、クラス間分類。
• 比較的分析のためにベンチマークデータセット（COCO, ExDark）とロボティクスデータセット（iCubWorldT, CSIRO Data61 SubT）を用いる。
• バックボーンネットワーク（ResNet50, ResNet101, ResNeXt101）が偽陰性メカニズムの分布に与える影響を評価する。
• IoUしきい値と検出スコア分析を用いて、検出器コンponent内の故障ポイントを特定する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出器における偽陰性を引き起こす具体的な内部故障メカニズムは何か？
• RQ2 これらの偽陰性メカニズムは、標準的なベンチマークデータセットと実世界のロボティクスデータセットの間でどのように異なるか？
• RQ3 バックボーンアーキテクチャは、偽陰性メカニズムの分布にどの程度影響を与えるか？
• RQ4 COCOで高いmAPスコアを達成しているにもかかわらず、なぜロボティクスデータセットでは検出器の失敗が顕著に増加するのか？
• RQ5 故障メカニズムを活用することで、標的的なデータ収集やモデル再トレーニングを誘導できるか？

主な発見

• COCOでは、偽陰性の主なメカニズムは背景分類（Faster R-CNNでは58.2%、RetinaNetでは77.9%）であるが、CSIRO Data61 SubTでは、Faster R-CNNで82.8%、RetinaNetで94.6%に上昇する。
• iCubWorldTでは、クラス間分類が最も顕著なメカニズムとなり、COCOと比較してFaster R-CNNで44.2%、RetinaNetで54.6%増加する。
• SubT や iCubWorldT などのロボティクスデータセットにおける偽陰性メカニズムは、COCOでのパフォーマンスでは信頼性を持って予測できないため、ベンチマークベースの改善が容易に転送されないことが示唆される。
• バックボーンネットワーク（ResNet50, ResNet101, ResNeXt101）は、偽陰性メカニズムの分布にほとんど影響を与えないことが示され、アーキテクチャ設計とトレーニング戦略がより重要な要因であると考えられる。
• COCOでは高いmAPを達成しているにもかかわらず、背景以外のメカニズムを解消することで、COCOでは偽陰性が41.2%（Faster R-CNN）減少するが、SubTではわずか17.5%にとどまる。これは、ベンチマーク中心の修正が転送性に乏しいことを示している。
• 背景分類の失敗において、リージョンプロポーザルネットワーク（RPN）は物体存在の検出を信頼性高く行える。これは、RPNの出力を偽陰性の可能性を示す警告システムのトリガーに利用できる可能性を示唆している。