[論文レビュー] 3D-Assisted Image Feature Synthesis for Novel Views of an Object

Hao Su, Fan Wang+2 more|arXiv (Cornell University)|Nov 26, 2014

Advanced Image and Video Retrieval Techniques被引用数 18

ひとこと要約

本稿では、同一クラスの3Dモデルのコレクションを用いて、1枚の入力画像から物体の新しい視点の画像特徴を生成する3D支援特徴合成手法を提案する。視点間で『代用パッチ』と呼ばれる類似特徴を持つパッチを特定し、3Dモデルの視点からの線形結合を学習することで、視点不変の特徴を合成する。これにより、顕著な性能向上を達成する細粒度のリtrievalおよび分類タスクにおいて、視点に依存しない画像比較が可能になる。

ABSTRACT

Comparing two images in a view-invariant way has been a challenging problem in computer vision for a long time, as visual features are not stable under large view point changes. In this paper, given a single input image of an object, we synthesize new features for other views of the same object. To accomplish this, we introduce an aligned set of 3D models in the same class as the input object image. Each 3D model is represented by a set of views, and we study the correlation of image patches between different views, seeking what we call surrogates --- patches in one view whose feature content predicts well the features of a patch in another view. In particular, for each patch in the novel desired view, we seek surrogates from the observed view of the given image. For a given surrogate, we predict that surrogate using linear combination of the corresponding patches of the 3D model views, learn the coefficients, and then transfer these coefficients on a per patch basis to synthesize the features of the patch in the novel view. In this way we can create feature sets for all views of the latent object, providing us a multi-view representation of the object. View-invariant object comparisons are achieved simply by computing the $L^2$ distances between the features of corresponding views. We provide theoretical and empirical analysis of the feature synthesis process, and evaluate the proposed view-agnostic distance (VAD) in fine-grained image retrieval (100 object classes) and classification tasks. Experimental results show that our synthesized features do enable view-independent comparison between images and perform significantly better than traditional image features in this respect.

研究の動機と目的

• 1枚の入力画像から新しい視点の特徴を合成することで、視点不変の画像比較を可能にすること。
• クラスレベルのモデルコレクションからの3D形状の事前知識を活用することで、大規模な視点変化下でも特徴の不安定性を是正すること。
• 外在要因（視点や照明）に対して不変性を確保しつつ、物体の詳細な幾何的・物理的性質を保持すること。
• 2.5次元形状記述子を用いたマルチビュー表現を構築し、異なる視点間で一貫した比較を可能にすること。
• 提案手法を細粒度画像リtrievalおよび分類タスクに適用し、ベースライン特徴を上回る優れた性能を示すこと。

提案手法

• 同じ物体クラスに属する3Dモデルのコレクションを、非パrametricな事前知識として用い、新しい視点の特徴合成を支援する。
• 視点間相関解析を用いて、ある視点のパッチの特徴が他の視点のパッチの特徴をよく予測できる『代用パッチ』を特定する。
• 各新しい視点のパッチに対して、観測済み視点の対応パッチからの特徴を線形結合で予測するための係数を学習する。
• 各パッチごとに学習した係数を適用し、新しい視点の特徴を合成することで、完全なマルチビュー表現を構築する。
• 対応する視点間で合成された特徴のL²距離を、視点に依存しない距離（VAD）として用い、画像比較に応用する。
• HOGやCNN特徴（例：CaffeNet）など、さまざまな特徴タイプに本手法を適用し、記述子の一般化性能を実証する。

実験結果

リサーチクエスチョン

• RQ1 1枚の入力画像と3Dモデルのコレクションのみを用いて、物体の新しい視点の信頼性の高い画像特徴を合成できるか？
• RQ2 未観測の視点における特徴を予測するために、視点間の特徴相関（代用パッチ）をどのように特定・活用できるか？
• RQ3 提案された3D支援特徴合成が、細粒度リtrievalおよび分類タスクにおける視点不変の画像比較をどの程度向上させるか？
• RQ4 HOGのような手作業特徴とCNNのような深層学習ベース特徴の両方において、本手法はどの程度の性能を示すか？
• RQ5 特定の領域の特徴を異なる視点にわたって合成することで、部品ベースの画像リtrievalを可能にするか？

主な発見

• 提案された視点不変距離（VAD）は、細粒度画像リtrieval性能を顕著に向上させ、AUCがベースラインのHOG記述子（0.635）から0.694に向上した。
• FGVC-aircraftデータセットでは、細粒度分類で60.3%の正解率を達成し、ベースラインの48.7%およびボクシングボックスを適用した改善版ベースライン（56.1%）を上回った。
• 本手法は特徴タイプに一般化可能である：CaffeNet特徴を用いた場合、fc7層での性能はベースラインL2距離の0.748からVADの0.788に向上した。
• 部品ベースの画像リtrievalが可能になった：ユーザーがクエリ画像内の特定領域を指定すると、異なる視点から対応する部分の外観が類似する画像を検索できる。
• 代用領域同定手法はカテゴリカルレベルでも有効であるが、今後の研究では対称性や部品分解などの幾何的性質を統合することで、より細粒度の予測が可能になる可能性がある。
• 実験的および理論的分析により、大規模な視点変化下でも特徴合成プロセスの安定性とロバスト性が確認された。