[論文レビュー] Unsupervised deep object discovery for instance recognition

Oriane Siméoni, Ahmet İşcen+3 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 3

ひとこと要約

この論文では、画像内の局所的CNN特徴から構築された近隣者グラフ上の中心性測度を用いて、顕著な領域を同定する非教師付き深層オブジェクト発見手法を提案する。特徴の識別性と共通性に注目することで、特に背景がごった返すシーンにおける小規模オブジェクトのインスタンスレベル検索性能が向上し、極めて背景がごった返す環境下でもグローバル特徴量を上回る大規模画像検索性能を達成する。

ABSTRACT

Severe background clutter is challenging in many computer vision tasks, including large-scale image retrieval. Global descriptors, that are popular due to their memory and search efficiency, are especially prone to corruption by such a clutter. Eliminating the impact of the clutter on the image descriptor increases the chance of retrieving relevant images and prevents topic drift due to actually retrieving the clutter in the case of query expansion. In this work, we propose a novel salient region detection method. It captures, in an unsupervised manner, patterns that are both discriminative and common in the dataset. Saliency is based on a centrality measure of a nearest neighbor graph constructed from regional CNN representations of dataset images. The descriptors derived from the salient regions improve particular object retrieval, most noticeably in a large collections containing small objects.

研究の動機と目的

• グローバル特徴量の性能を著しく低下させる大規模画像検索における極めて強い背景の混在という課題に対処すること。
• データセット全体にわたって識別性があり共通する領域を特定する非教師付き手法を開発すること。
• グローバル画像特徴量ではなく、これらの顕著領域からの特徴量を導出することでインスタンス認識を向上させること。
• 背景がごった返すデータセットにおいて、特に小規模オブジェクトの検索性能を向上させること。
• 不要な背景コンテンツの影響を最小限に抑えることで、クエリ拡張時のトピックドリフトを低減すること。

提案手法

• データセット内の画像から抽出した局所的CNN特徴表現を用いて、近隣者グラフを構築する。
• 特にPageRankの変種である中心性測度を近隣者グラフに適用して、顕著な領域を同定する。
• 中心性スコアを用いて、データセット全体にわたって共通しており識別性のある領域を局所化する。
• 顕著領域から深層特徴量を抽出し、検索用に改善された画像特徴量を構築する。
• ボクシングボックスのアノテーションやカテゴリラベルを一切必要としない非教師付きの方法で、手法を訓練および評価する。
• 顕著性に基づく特徴量をインスタンスレベル画像検索に適用し、グローバル特徴量ベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 グラフ中心性に基づく非教師付き顕著性検出は、ごった返すデータセットにおけるインスタンス検索性能を向上させることができるか？
• RQ2 教師なし条件下で、本手法は識別性があり共通する領域をどれほど効果的に同定できるか？
• RQ3 顕著領域からの特徴量学習は、小規模オブジェクトを含む大規模画像検索においてグローバル特徴量を上回るか？
• RQ4 ごった返す環境下で、クエリ拡張時のトピックドリフトはどの程度低減されるか？
• RQ5 背景の混在度合いが異なるデータセット間で、性能にどのような差が生じるか？

主な発見

• 提案手法は、背景がごった返すデータセットにおいて、特にインスタンスレベル検索性能を顕著に向上させる。
• グラフ中心性に基づく顕著性検出は、データセット全体にわたって識別性があり共通する領域を効果的に同定する。
• 顕著領域からの特徴量を用いた記述子は、大規模検索においてグローバル特徴量を上回り、特に小規模オブジェクトに対して顕著な優位性を示す。
• 不要な背景コンテンツの検索を最小限に抑えることで、クエリ拡張時のトピックドリフトが低減される。
• 非教師付きの性質のおかげで、アノテーションデータが一切不要な状態で顕著領域の発見が効果的に行える。
• 複数のベンチマークデータセットにわたる一貫した性能向上が確認され、本手法の背景の混在やオブジェクトスケールの変動に対するロバスト性が裏付けられる。