[論文レビュー] Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals

Minsu Cho, Suha Kwak+2 more|arXiv (Cornell University)|Jan 25, 2015

Advanced Image and Video Retrieval Techniques参考文献 52被引用数 43

ひとこと要約

本稿では、下位互換の領域提案と確率的ハフ変換を用いた部品ベースの領域マッチング手法を提案し、複数のオブジェクトクラスを含み、アノテーションなしの完全無教師な画像コレクションにおいて、支配的オブジェクトを発見・局所化する。この手法は、オブジェクトの顕著性を示すスタンドアウトスコアによって、含まれる領域に対して顕著性が高い領域を同定することで、コロカル化ベンチマークで最先端の性能を達成し、混合クラスデータセットにおいても頑健な局所化を実現する。

ABSTRACT

This paper addresses unsupervised discovery and localization of dominant objects from a noisy image collection with multiple object classes. The setting of this problem is fully unsupervised, without even image-level annotations or any assumption of a single dominant class. This is far more general than typical colocalization, cosegmentation, or weakly-supervised localization tasks. We tackle the discovery and localization problem using a part-based region matching approach: We use off-the-shelf region proposals to form a set of candidate bounding boxes for objects and object parts. These regions are efficiently matched across images using a probabilistic Hough transform that evaluates the confidence for each candidate correspondence considering both appearance and spatial consistency. Dominant objects are discovered and localized by comparing the scores of candidate regions and selecting those that stand out over other regions containing them. Extensive experimental evaluations on standard benchmarks demonstrate that the proposed approach significantly outperforms the current state of the art in colocalization, and achieves robust object discovery in challenging mixed-class datasets.

研究の動機と目的

• アノテーションなしの実世界の画像コレクションにおいて、複数のオブジェクトクラスやノイズの多い画像を含む状況で、無教師なオブジェクト発見と局所化を実現すること。
• 画像レベルのラベル、単一クラスの仮定、既知のクラス数を必要とする従来手法の限界を克服すること。
• 教師なしでオブジェクトとその部品の両方を発見できる完全無教師フレームワークの構築。
• クラス頻度バイアスの影響を受けるが、クラス数に偏りがある多クラスデータセットにおいても、頑健な局所化を実現すること。
• 候補領域から支配的オブジェクトインスタンスを特定するための顕著性ベースの選択メカニズムの導入。

提案手法

• すべての画像において、オブジェクトと部品の両方の候補領域を形成するため、マルチスケールの下位互換の領域提案を生成する。
• 外観的および空間的整合性に基づいて、画像間の候補領域を確率的ハフ変換を用いてマッチングし、信頼度スコアを付与する。
• 含まれる領域すべてよりも顕著性が高い領域を特定するスタンドアウトスコアを用い、フォアグラウンドオブジェクトの局所化を可能にする。
• 部品ベースの領域マッチングとフォアグラウンド局所化を繰り返し交互に実行することで、オブジェクト提案を改善する。
• マッチングされた部品の空間的・外観的整合性を活用し、いかなる教師信号なしにオブジェクトインスタンスを発見する。
• 事前学習された特徴量、顕著性マップ、ネガティブデータなど外部の教師信号に依存しないことで、完全な無教師性を維持する。

実験結果

リサーチクエスチョン

• RQ1 複数のオブジェクトクラスと画像レベルのアノテーションなしの完全無教師設定において、無教師オブジェクト発見が効果的に達成可能か？
• RQ2 部品ベースのマッチングは、混合クラスでノイズの多い画像コレクションにおいて、オブジェクト局所化の頑健性をどのように向上させるか？
• RQ3 提案されたスタンドアウトスコアは、従来の顕著性またはクラスタリング手法に比べて、支配的オブジェクトをどれほど効果的に特定できるか？
• RQ4 クラスの不均衡下、特に低頻度オブジェクトカテゴリにおいて、本手法の性能はいかがなっているか？
• RQ5 教師なしで、意味的に類似しているが異なるオブジェクトクラス（例：車とバス）の間でも、部品ベースのマッチングが一般化可能か？

主な発見

• 提案手法は、標準的なコロカル化ベンチマークで最先端の性能を達成し、従来の無教師および弱教師あり手法を上回る。
• PASCAL 07-all 混合クラスデータセットにおいて、CorLoc 61.6% および CorRet 31.5% を達成し、完全無教師設定下でも強力な局所化とリtrieval性能を示している。
• クラスの不均衡にもかかわらず、本手法は比較的安定した性能を維持しており、高頻度クラスではCorLocが1.2%低下するのみで、低頻度クラスでは9.4%低下にとどまっている。
• 隣接画像に異なるクラス（例：車やソファーが存在する中でバスを局所化）が含まれても、オブジェクトが正しく局所化されており、類似したオブジェクトタイプ間での一般化が可能である。
• 図8の混同行列から、リtrievalはクラス頻度に影響を受けるが、部品ベースのマッチングと顕著性スコアリングのおかげで、局所化性能は依然として効果的である。
• 教師ありの弱教師あり局所化手法と比較しても、本手法は完全無教師の枠組みであるにもかかわらず、ほぼ同等の性能を達成している。