[論文レビュー] Virtual View Networks for Object Reconstruction

João Carreira, Abhishek Kar+2 more|arXiv (Cornell University)|Nov 22, 2014

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文では、類似した物体の集合と一致させることで仮想視点を合成することにより、1枚の画像から3次元オブジェクト形状を再構築するための仮想ビュー・ネットワーク（VVN）を提案する。学習されたオブジェクトの視点ネットワーク上の測地線パスを活用し、要因分解に基づくSfMの耐性を高めることで、視点のばらつきが大きいPASCAL VOCのカテゴリに対しても、限られた入力視点でも正確な3次元再構築を達成する。

ABSTRACT

All that structure from motion algorithms "see" are sets of 2D points. We show that these impoverished views of the world can be faked for the purpose of reconstructing objects in challenging settings, such as from a single image, or from a few ones far apart, by recognizing the object and getting help from a collection of images of other objects from the same class. We synthesize virtual views by computing geodesics on novel networks connecting objects with similar viewpoints, and introduce techniques to increase the specificity and robustness of factorization-based object reconstruction in this setting. We report accurate object shape reconstruction from a single image on challenging PASCAL VOC data, which suggests that the current domain of applications of rigid structure-from-motion techniques may be significantly extended.

研究の動機と目的

• 1枚の入力画像または広く離れた視点でのみ対応可能な剛体SfM技術を拡張すること。
• 標準的なSfMがオブジェクトクラス間での大きな視点変化や形状の違いに対処できないという限界を克服すること。
• ノイズが多く、合成された仮想視点を用いた要因分解に基づくSfMの耐性と特異性を向上させること。
• 認識情報と再利用可能なトレーニング画像のコレクションのみを用いて、一般的なオブジェクトカテゴリの正確な3次元再構築を可能にすること。
• クラスレベルの知識とポーズ予測を活用して、広範な視点差を扱える新しいアライメントフレームワークを開発すること。

提案手法

• 同じクラスに属するオブジェクトの画像を、その視点の類似度に基づいて接続することで仮想ビュー・ネットワーク（VVN）を構築し、視点間を滑らかに補間可能にする。
• ポーズ予測と記述子空間（2次元プールドAlexNet fc5特徴量に基づく）における最近傍探索を用いて、ターゲットオブジェクトと類似した視点を持つ候補画像を特定する。
• ターゲットオブジェクトからVVN上の測地線パスを介して他の画像へ対応点を伝搬させることで、大規模な視点変化に対してもロバストな2次元アライメントを実現する。
• スケーリングされた直角射影の要因分解を用いて、ノイズへの過剰適合を抑える正則化最適化を適用することで、仮想視点から3次元形状を再構築する。
• ドメイン知識（例：左右対称性）を用いたインライアーエクストラポレーションを導入し、特に凹型や曖昧な形状に対して再構築精度を向上させる。
• 要因分解の過程で高信頼度の対応点に重点を置くことで、最終的な3次元点群における特異性を高め、アーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 構造からモーション（SfM）技術を用いて、1枚の画像から3次元オブジェクト再構築が可能か？
• RQ2 ターゲットオブジェクトと類似したオブジェクトのコレクションをアライメントする際、大規模な視点変化にわたって仮想視点をどのようにロバストに合成できるか？
• RQ3 学習された仮想ビュー・ネットワーク上の測地線パスは、顕著な視点変化や形状変化が生じる状況でもアライメントの耐性を向上させることができるか？
• RQ4 多様なオブジェクトコレクションから得られる合成的でノイズの多い仮想視点に適用した場合、要因分解に基づくSfMをどれほど耐性があり、特異的であるようにできるか？
• RQ5 クラスレベルの知識と対称性制約を組み込むことで、データが少ない状況下での再構築品質はどの程度向上するか？

主な発見

• 本手法は、VVNフレームワークを用いて生成された仮想視点を用いることで、1枚の画像からPASCAL VOCオブジェクトの正確な3次元再構築を達成し、飛行機や鳥のような複雑な形状に対しても有効である。
• インライアーエクストラポレーションは再構築品質を顕著に向上させ、特にテレビ/モニタクラスでは、そうでない場合にダリの時計のように曲がった不自然な形状が生じるのを防ぐ。
• 本手法は大多数の動物カテゴリを再構築に成功しているが、馬や船はクラス内変動や難しいポーズのため、著しい劣化を示す。
• 左右対称性は、車や飛行機のような対称的オブジェクトの3次元構造を効果的に向上させるが、ポーズや形状の非対称性のため、人間ではあまり効果が薄い。
• 本手法は、テクスチャーや対応情報を無視し、凹型を捉えられないため、シルエットのみのアプローチ（例：ビジュアルハルフ）を上回る。
• 再構築結果は公開されており、動画デモは http://youtu.be/JfDJji5sYXE で確認可能で、今後のこの新しいタスクの評価を可能にする。