[論文レビュー] How good are detection proposals, really?

Jan Hosang, Rodrigo Benenson+1 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 56

ひとこと要約

この論文は、Pascal VOC 2007 および ImageNet 2013 における物体検出の文脈で、正解の再現率、再現性、およびDPM検出器性能への影響を評価する目的で、10種類の物体候補手法を検証している。結果として、選択的サーチ（Selective Search）とEdgeBoxesが、再現率、再現性、速度のバランスが最も優れており、多数の手法が不安定なスーパーピクセルに起因する低再現性を示していることが判明した。また、候補手法の品質が最終的な検出精度に顕著な影響を与えることも明らかになった。

ABSTRACT

Current top performing Pascal VOC object detectors employ detection proposals to guide the search for objects thereby avoiding exhaustive sliding window search across images. Despite the popularity of detection proposals, it is unclear which trade-offs are made when using them during object detection. We provide an in depth analysis of ten object proposal methods along with four baselines regarding ground truth annotation recall (on Pascal VOC 2007 and ImageNet 2013), repeatability, and impact on DPM detector performance. Our findings show common weaknesses of existing methods, and provide insights to choose the most adequate method for different settings.

研究の動機と目的

• 共通の評価フレームワークを用いて、既存の検出候補手法を体系的かつ偏りのない比較を提供すること。
• 物体検出パイプラインにおける、候補品質、速度、再現性のトレードオフを分析すること。
• Pascal VOC を超える一般化性能を評価するため、より大規模で多様性のあるImageNet 2013検証セットを用いて評価すること。
• DPMをベースラインとして用いて、候補手法が最終的な検出器性能に与える影響を定量化すること。
• すべてのバウンディングボックスと評価スクリプトを公開し、再現性および今後の手法比較を支援すること。

提案手法

• 著者らは、選択的サーチ（Selective Search）、EdgeBoxes、MCG、CPMCなどを含む10種類の公開済み検出候補手法を、共通の評価パイプラインを用いて評価した。
• Pascal VOC 2007 および ImageNet 2013 における正解再現率を、IoU閾値（例：≥0.5、≥0.7）を用いて測定し、局所化精度を評価した。
• 再現性は、ノイズやぼかしなどの画像摂動に対して候補の一貫性を測る新しい指標として導入された。
• 各候補ウィンドウにDPM検出器を適用し、非最大抑制とバウンディングボックス回帰を実行して、最終的な検出性能を評価した。
• 1画像あたり1,000候補を用い、mAPおよびクラス別検出指標を各手法間で比較した。
• すべての実験は2.5か月以上のCPU計算時間を要し、結果とコードをすべて公開した。

実験結果

リサーチクエスチョン

• RQ1 Pascal VOC 2007 および ImageNet 2013 における、異なる検出候補手法の正解再現率は、どのように比較されるか？
• RQ2 画像摂動（ノイズ、ぼかしなど）下での検出候補の再現性はどの程度で、それが検出の信頼性にどのように影響するか？
• RQ3 候補手法はDPM検出器の最終的なmAPにどのように影響を及ぼすか？また、どの手法が最良の検出パフォーマンスを達成するか？
• RQ4 候補手法はPascal VOCを越えて一般化できるのか、それとも特定の物体カテゴリに偏っているのか？
• RQ5 実際の応用において、速度、再現率、検出品質の最良のトレードオフを実現するのはどの手法か？

主な発見

• 選択的サーチ（Selective Search）とEdgeBoxesは、正解再現率（AUC 69％以上）、再現性、速度のバランスが最も優れており、最良のパフォーマンスを発揮した。
• MCGは1,000候補を使用した場合、正解再現率が最も高く（IoU ≥0.5で70％以上）、しかしEdgeBoxes や選択的サーチより遅かった。
• 1,000未満の候補が必要な状況では、EdgeBoxesが速度と品質の最良の妥協点を提供した。
• Objectness および Bing は、AUCはRahtuおよびガウスベースラインと同等であったが、高IoU領域での局所化精度が悪く、mAPが低かった。
• 多数の手法が、わずかな画像摂動に対しても不安定なスーパーピクセルまたは境界推定に起因して、低再現性を示した。
• ImageNet 2013 の評価結果から、多数の手法がPascal VOCを越えて良好に一般化していることが確認され、それらが真の「オブジェクトネス」手法としての適性を有していることが示された。