[論文レビュー] Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization

Hakan Karaoğuz, Patric Jensfelt|arXiv (Cornell University)|Apr 11, 2018

Visual Attention and Saliency Detection参考文献 18被引用数 3

ひとこと要約

本稿では、分類に依存しない領域提案と深層学習ベースの注目度マップを統合することで、カテゴリやインスタンスレベルの教師信号を一切用いずに、1枚の画像内にオブジェクトを局所化する完全に教師なしのオブジェクト局所化手法を提案する。本手法は、1枚の画像フレームのみを用いても、ベンチマークデータセットで最先端の性能を達成し、可変な照明や視点を含む、新たに作成された困難なデータセットを通じて、実世界の条件下でも頑健であることが示された。

ABSTRACT

In this paper we address the problem of unsupervised localization of objects in single images. Compared to previous state-of-the-art method our method is fully unsupervised in the sense that there is no prior instance level or category level information about the image. Furthermore, we treat each image individually and do not rely on any neighboring image similarity. We employ deep-learning based generation of saliency maps and region proposals to tackle this problem. First salient regions in the image are determined using an encoder/decoder architecture. The resulting saliency map is matched with region proposals from a class agnostic region proposal network to roughly localize the candidate object regions. These regions are further refined based on the overlap and similarity ratios. Our experimental evaluations on a benchmark dataset show that the method gets close to current state-of-the-art methods in terms of localization accuracy even though these make use of multiple frames. Furthermore, we created a more challenging and realistic dataset with multiple object categories and varying viewpoint and illumination conditions for evaluating the method's performance in real world scenarios.

研究の動機と目的

• ラベル付きデータが少なく、環境条件が変化する実世界のロボット工学的シナリオにおける教師なしオブジェクト局所化の課題に対処すること。
• 隣接画像の類似性や事前カテゴリ情報に依存せずに、1枚の画像内にオブジェクトを局所化する手法を開発すること。
• 複数のオブジェクトカテゴリを含み、照明や視点の変化がある実際の状況を再現した、多様で現実的なデータセットを構築し、実世界での性能をよりよく評価すること。
• 教師あり事前学習に依存せずに、意味的注目度マップと領域提案を組み合わせることで、教師なし局所化の頑健性を向上させること。

提案手法

• セマンティックセグメンテーションの学習に用いられるエンコーダ/デコーダアーキテクチャを用いて、ピクセル単位の注目度マップを生成し、注目領域を特定する。
• カテゴリに依存しない領域提案ネットワーク（RPN）を用いて、カテゴリの教師信号なしに候補オブジェクト領域を特定する。
• 注目度マップと領域提案を、高い被覆率および類似度を持つ領域同士をマッチングさせることで統合し、候補オブジェクト位置を精緻化する。
• 冗長な提案を削除し、局所化の精度を向上させるために、閾値0.05を用いた非最大抑制（NMS）を適用する。
• 注目度領域と提案領域の被覆率および類似度比を用いて、オブジェクト候補を精緻化し、局所化精度を向上させる。
• ノイズや小さな無関係領域を除外するために、最小注目度領域サイズの閾値を300ピクセル²とする。

実験結果

リサーチクエスチョン

• RQ1 カテゴリやインスタンスレベルのアノテーションが一切ない完全に教師なしの手法が、1枚の画像内にオブジェクトを局所化できるか？
• RQ2 注目度マップと領域提案の統合は、単独で使用する場合と比較して、どのように局所化精度を向上させるか？
• RQ3 照明や視点の変化がある実世界の条件に、どの程度一般化可能か？
• RQ4 特にオブジェクトが小さかったり、注目度が低かったりする状況下で、複数オブジェクトを含むシーンにおいて、本手法はどの程度の性能を示すか？
• RQ5 複数フレームや弱教師付き学習を用いる最先端の手法と比較して、本手法は競争力のある性能を達成できるか？

主な発見

• 本手法は、PASCAL VOC 2012ベンチマークにおいて、1枚の画像フレームと隣接画像の類似性を一切使用しなかったにもかかわらず、最先端の手法と同等の局所化精度を達成した。
• KTH Handtoolデータセットでは、ピンセットカテゴリが人工照明下（カメラ1）で最高の局所化精度（63.7% CorLoc）を記録した。これは、表面にテクスチャがあるためと考えられる。
• 自然光条件下ではカメラ2で性能が低下し（ハンマーで14.3%）、低照度や距離の影響に敏感であることが示された。
• 方向性のある照明は、カメラ2でスクリュードライバーの局所化精度を向上させた（31.0% CorLoc）。これは、照明の方向がオブジェクトの表面特性に応じて性能に影響を与える可能性を示唆している。
• 複数の小さなオブジェクトに対しては、表IIの最下行に見られるように、注目度が薄い領域同士が統合され、1つの大きな領域になるため、本手法は困難を示した。
• 高解像度のカメラ1は、全カテゴリでカメラ2を上回り、平均CorLocスコアが10～20ポイント高い。これは、画像品質と視点の影響が顕著であることを示している。