[論文レビュー] Learning the semantic structure of objects from Web supervision

David Novotný, Diane Larlus+1 more|arXiv (Cornell University)|Jul 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 62被引用数 7

ひとこと要約

本論文は、一貫した外観・幾何埋め込みを用いて、ノイズの多いWeb画像から物体の意味的構造（部品およびそれらの幾何的関係）を弱教師付きで学習する手法を提案する。非意味的で中レベルのアンカーを幾何的基準として活用することで、頑健な部品局所化が可能となり、学習された視覚的意味的アトラスを通じた視覚的に直感的なナビゲーションを実現し、ベンチマークデータセットにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

While recent research in image understanding has often focused on recognizing more types of objects, understanding more about the objects is just as important. Recognizing object parts and attributes has been extensively studied before, yet learning large space of such concepts remains elusive due to the high cost of providing detailed object annotations for supervision. The key contribution of this paper is an algorithm to learn the nameable parts of objects automatically, from images obtained by querying Web search engines. The key challenge is the high level of noise in the annotations; to address it, we propose a new unified embedding space where the appearance and geometry of objects and their semantic parts are represented uniformly. Geometric relationships are induced in a soft manner by a rich set of nonsemantic mid-level anchors, bridging the gap between semantic and non-semantic parts. We also show that the resulting embedding provides a visually-intuitive mechanism to navigate the learned concepts and their corresponding images.

研究の動機と目的

• 高価な手動アノテーションを必要とせず、スケールに応じて物体の意味的部品および幾何的関係を学習すること。
• 部品検出のためのWeb教師付きデータにおける高いノイズの影響に対処すること。
• 外観と幾何を両方捉える1つの埋め込み空間に、物体と部品の表現を統合すること。
• 学習された視覚的意味的アトラスを通じて、物体全体とその部品の画像間を視覚的に直感的に行き来できるナビゲーションを可能にすること。
• 非意味的で中レベルのパッチが、ノイズの多いWebデータにおいて意味的部品を学習するための効果的な幾何的アンカーとして機能することを示すこと。

提案手法

• 外観と幾何的関係を共有空間で同時にモデル化する一貫した外観・幾何埋め込み（anchor-ag）を提案する。
• 非意味的な中レベルのパッチを幾何的アンカーとして用い、オブジェクト中心の基準座標系を定義することで、頑健な幾何的推論を可能にする。
• Webクエリによるオブジェクト名と部品名を用いて、ノイズの多い画像コレクションからの弱教師信号を活用して埋め込みを学習する。
• 部品マッチングを埋め込み空間内の類似度探索として定式化し、ソースとターゲットの領域記述子間の内積を最大化する。
• 検出された部品とそれらの幾何的関係をアノテートすることで、スケールをまたがるナビゲーションを可能にする視覚的意味的アトラスを構築する。
• 2段階のマッチングプロセスを用いる：まず埋め込み類似度により候補部品を特定し、次に幾何的一致性により精緻化する。

実験結果

リサーチクエスチョン

• RQ1 一貫した埋め込み空間は、意味的部品と完全なオブジェクトを同時に効果的に表現し、幾何的関係を保持できるか？
• RQ2 ノイズの多いWebデータにおいて、非意味的な中レベルのパッチが意味的部品を学習するための信頼できる幾何的アンカーとして機能できるか？
• RQ3 弱教師付き条件下での部品マッチングにおいて、提案手法の外観・幾何埋め込みは、外観のみのベースライン（a）や幾何のみのベースライン（anchor-g）よりも優れているか？
• RQ4 学習されたモデルは、完全なオブジェクト画像からズームインした部品画像へのスケール変動に対しても一般化可能か？
• RQ5 視覚的意味的アトラスは、Web画像間で概念ベースのナビゲーションをどれほど直感的に行えるか？

主な発見

• 提案手法の anchor-ag 埋め込みは、すべてのテストデータセットで外観のみのベースライン（a）および幾何のみのベースライン（anchor-g）を上回り、自動車では平均IoUが最先端手法[61]を10%上回り、バスでは16%上回る。
• LFPW顔データセットでは、視点変化が限定的であるにもかかわらず、平均IoUが0.41を達成し、[61]を2ポイント上回った。
• 本手法は、意味的部品発見において最先端手法と同等の識別力を持つ一方で、意味的マッチング性能を顕著に向上させた。
• 視覚的意味的アトラスにより、完全なオブジェクト画像と部品レベルの画像の間をスムーズにナビゲート可能であり、部品が構成要素としても意味的カテゴリーとしても機能することを示した。
• 非意味的アンカーの使用により、ノイズに対する耐性が向上し、多様な画像スケールや視点に対して一貫した幾何的推論が可能になった。
• 本手法は大規模なWebデータに対してもスケーラブルで効果的であり、高価なバウンディングボックスアノテーションや複雑な部品発見パイプラインの必要がない。