[論文レビュー] Image Co-localization by Mimicking a Good Detector's Confidence Score Distribution

Yao Li, Linqiao Liu+2 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本論文は、強力な完全教師あり検出器の信頼度スコア分布を模倣することで、共通のオブジェクト検出器を訓練する、新しい非教師あり画像共局所化手法を提案する。スパースで高エントロピーなスコア分布——つまり、わずか数個の提案領域にのみ高い信頼度が与えられる——を強制することで、境界ボックスアノテーションを一切用いずに共通オブジェクトを局所化でき、PASCAL VOCおよびImageNetサブセットにおいて最先端の共局所化手法および弱教師あり局所化手法を上回る性能を達成する。

ABSTRACT

Given a set of images containing objects from the same category, the task of image co-localization is to identify and localize each instance. This paper shows that this problem can be solved by a simple but intriguing idea, that is, a common object detector can be learnt by making its detection confidence scores distributed like those of a strongly supervised detector. More specifically, we observe that given a set of object proposals extracted from an image that contains the object of interest, an accurate strongly supervised object detector should give high scores to only a small minority of proposals, and low scores to most of them. Thus, we devise an entropy-based objective function to enforce the above property when learning the common object detector. Once the detector is learnt, we resort to a segmentation approach to refine the localization. We show that despite its simplicity, our approach outperforms state-of-the-art methods.

研究の動機と目的

• 境界ボックスアノテーションや否定画像アノテーションを一切用いずに、同じオブジェクトカテゴリの画像セットに依存して画像共局所化の課題に取り組むこと。
• 既存の共局所化手法が複雑な推論や補助的监督を必要としているという限界を乗り越えるために、スコア分布モデリングを通じて検出器を学習すること。
• 強力な検出器の信頼度スコア分布を明示的にモデリングすることで、検出と局所化のギャップを埋め、非教師あり学習をガイドすること。
• 色と空間的コンテキストを活用するCRFベースのセグメンテーションモジュールにより検出ヒートマップを精緻化することで、局所化精度を向上させること。

提案手法

• スパースで高信頼度の応答を促進するエントロピーに基づく新しい目的関数を用いて、共通のオブジェクト検出器を訓練する。この目的関数は、強い教師あり検出器を模倣するものである。
• 各画像ごとの検出信頼度スコアのシャノンエントロピーを最小化する形で目的関数を定式化し、少数の高スコア提案領域を促進するとともに、残りの領域を抑制する。
• 検出ヒートマップと色特徴を組み合わせたCRFベースのセグメンテーションモデルを用いて、境界ボックス予測を精緻化し、局所化精度を向上させる。
• オブジェクト提案の入力として事前学習済みのCNN特徴（例：CaffeNetのfc6）を用い、エンドツーエンド学習を回避することで、未学習のカテゴリへの転移を可能にする。
• 非最大抑制とハードネガティブマーチングを適用し、予測されたボックス上で検出器を微調整することで、標準的な検出ベンチマークでの評価を可能にする。
• 提案生成にエッジボックスを用い、トレーニングにおける真値アノテーションへの依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 強い教師あり検出器の信頼度スコア分布を模倣することで、共通のオブジェクト検出器を非教師ありで効果的に訓練できるか？
• RQ2 提案領域全体にわたるスパースで高エントロピーな信頼度スコア分布を強制することで、共局所化タスクにおける局所化性能が向上するか？
• RQ3 CRFベースの精緻化ステップを統合することで、生の検出ヒートマップを上回る局所化精度が達成できるか？
• RQ4 本手法は、mAPおよび相関局所化（CorLoc）指標において、最先端の共局所化および弱教師ありオブジェクト局所化アプローチと比較して、どのように差をつけるか？
• RQ5 本手法は、CNN特徴抽出器の事前学習データに含まれない未確認のオブジェクトカテゴリに対し、どの程度頑健か？

主な発見

• 本手法はImageNetサブセットで48.3%の平均CorLocを達成し、同じベンチマークで37.7%を記録したChoら[4]の手法を上回り、未学習のカテゴリへの一般化能力が優れていることを示している。
• PASCAL VOC 2007では、40.0%のCorLocを達成し、否定画像を一切使用しないにもかかわらず、最近の弱教師あり手法（40.2%）と同等の性能を示している。
• PASCAL VOC 2007データセットの20カテゴリ中17カテゴリで、最先端の共局所化アプローチを上回り、特に「raccoon」と「stoat」のような難易度の高いカテゴリで顕著な向上を示している。
• 可視化の結果、検出ヒートマップがスケール、視点、外観の変化に対しても物体を適切に局所化できており、教師なし学習でも特徴の強固な学習が行われていることが示唆されている。
• 「rake」と「wheelchair」の失敗事例は説明可能である——モデルが頻繁に発生する人間-オブジェクト相互作用を共通オブジェクトとして誤解しているため、モデルが一般的なシーンコンテキストに敏感であることが明らかになっている。
• 予測ボックスおよびネガティブサンプルで微調整した後、PASCAL VOC 2007テストセットでmAPが16.7%に達しており、弱教師あり検出への応用可能性が示唆されている。