[論文レビュー] Exploiting Symmetry and/or Manhattan Properties for 3D Object Structure Estimation from Single and Multiple Images

Yuan Gao, Alan Yuille|arXiv (Cornell University)|Jul 25, 2016

Advanced Vision and Imaging参考文献 35被引用数 6

ひとこと要約

本論文は、対称性と複数の画像を活用して、単一および複数の視点からの3次元オブジェクト構造推定を向上させる、新しい対称的剛体構造からモーション（Sym-RSfM）手法を提案する。対称性を考慮したエネルギー最小化問題を定式化し、SVDを用いた分解によるロバストな初期化を実施することで、Pascal3D+において最先端の性能を達成し、自動車、飛行機、ソファを含む複数のオブジェクトカテゴリにおいて、形状誤差および回転誤差の両面でベースライン手法を顕著に上回った。

ABSTRACT

Many man-made objects have intrinsic symmetries and Manhattan structure. By assuming an orthographic projection model, this paper addresses the estimation of 3D structures and camera projection using symmetry and/or Manhattan structure cues, which occur when the input is single- or multiple-image from the same category, e.g., multiple different cars. Specifically, analysis on the single image case implies that Manhattan alone is sufficient to recover the camera projection, and then the 3D structure can be reconstructed uniquely exploiting symmetry. However, Manhattan structure can be difficult to observe from a single image due to occlusion. To this end, we extend to the multiple-image case which can also exploit symmetry but does not require Manhattan axes. We propose a novel rigid structure from motion method, exploiting symmetry and using multiple images from the same category as input. Experimental results on the Pascal3D+ dataset show that our method significantly outperforms baseline methods.

研究の動機と目的

• 単一のフレームワーク内で対称性と複数画像の手がかりを統合することで、3次元オブジェクト構造推定を向上させること。
• 対称性制約を用いて、遮蔽や欠落したキーポイントが生じる3次元再構成の課題に対処すること。
• 局所的最適解に陥りにくい、ロバストな最適化戦略を構築すること。
• Pascal3D+ベンチマークにおいて、クラス内変動を伴う実世界のオブジェクトカテゴリを用いて、既存手法を上回ること。

提案手法

• 遮蔽されたキーポイントを潜在変数として組み込んだ、確率的エネルギー最小化問題を定式化する。
• 対称キーポイントペアをグループ化し、初期化にあたり欠落データが既知であると仮定する、代替エネルギー関数を導入する。
• 代替エネルギーを2つの独立した項に分解し、それぞれを特異値分解（SVD）によって効率的に最適化可能にする。
• 2段階の最適化を採用：まずSVDを用いて代替エネルギーを最小化し、次に元のエネルギー関数に対して座標降下法を用いて解を精緻化する。
• 正射影とゲージ自由度を活用して、対称軸をx軸に一致させ、最適化空間を単純化する。
• 観測されないキーポイントを潜在変数として扱う、対称性に配慮した座標降下アルゴリズムを採用し、ノイズおよび遮蔽に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正射影下において、対称性とマンハッタン構造を併用することで、1枚の画像から3次元構造を回復可能か？
• RQ2 マンハッタン構造が信頼できない、もしくは遮蔽されている状況下で、複数枚の画像を用いた構造からモーションにおいて、対称性を効果的に活用できるか？
• RQ3 対称的構造からモーション問題を、SVDで解けるコンponentsに分解できる代替エネルギー関数を設計可能か？
• RQ4 初期化の質が、対称性に基づく3次元再構成における収束性と精度に与える影響は何か？
• RQ5 実世界のデータセットにおいて、提案手法はベースラインのSfMおよびCSF手法と比較して、ロバスト性と精度の両面で優れているか？

主な発見

• 提案手法のSym-RSfMは、Pascal3D+データセットにおいて、飛行機（0.19）、自動車（0.81）、ソファ（0.22）を含む、ほとんどのオブジェクトカテゴリで最小の平均形状誤差を達成し、RSfMおよびCSFベースラインを上回った。
• 飛行機の分野では、平均形状誤差をRSfMの1.17から0.19にまで低減し、再構成精度の顕著な向上を示した。
• ソファのケースでは、CSF（R）の2.27と比較して平均形状誤差が0.22にまで低下し、ノイズや不完全なアノテーションに対しても優れたロバスト性を示した。
• 補足資料におけるガウスノイズを加えた実験から、不完全なキーポイントアノテーションに対しても本手法がロバストであることが示された。
• 代替エネルギーの分解により、効果的な初期化が可能となり、座標降下法における収束性が著しく向上し、局所的最適解への陥落リスクが低減された。