[論文レビュー] "Maximizing rigidity" revisited: a convex programming approach for generic 3D shape reconstruction from multiple perspective views

Pan Ji, Hongdong Li+2 more|arXiv (Cornell University)|Jul 17, 2017

Advanced Vision and Imaging被引用数 3

ひとこと要約

本稿では、明示的なカメラポーズ推定を伴わずに剛性を最大化することで、複数視点からの剛体および非剛体3D形状再構成を統合する凸半定値計画法フレームワークを提案する。問題を凸最適化として定式化し、非剛性を最小化することで、剛体、非剛体、関節運動データセットにおいて最先端の精度を達成し、グローバル最適性の保証を得た。

ABSTRACT

Rigid structure-from-motion (RSfM) and non-rigid structure-from-motion (NRSfM) have long been treated in the literature as separate (different) problems. Inspired by a previous work which solved directly for 3D scene structure by factoring the relative camera poses out, we revisit the principle of "maximizing rigidity" in structure-from-motion literature, and develop a unified theory which is applicable to both rigid and non-rigid structure reconstruction in a rigidity-agnostic way. We formulate these problems as a convex semi-definite program, imposing constraints that seek to apply the principle of minimizing non-rigidity. Our results demonstrate the efficacy of the approach, with state-of-the-art accuracy on various 3D reconstruction problems.

研究の動機と目的

• 剛体と非剛体の構造から運動（SfM）を別々の処理を避け、一つのフレームワークに統合すること。
• 従来の2段階SfMパイプラインの限界を克服すること。これらのパイプラインは明示的なカメラ運動推定を必要とし、剛体と非剛体シーンのための別々の手法を要する。
• シーンの種別に関する事前知識を必要としない剛性に依存しない手法を開発し、観測された画像測定値に基づいて最適な3D構造を自動的に同定すること。
• 「剛性を最大化する」原則を、凸剛性測度を用いて再定式化し、半定値計画法によるグローバル最適化を可能にすること。
• 変形、関節運動、剛体物体を含む多様な3D運動タイプにおいて、最先端の再構成精度を達成すること。

提案手法

• 本手法は、2次元特徴対応点から視点三角形を構築することで、明示的なカメラポーズ推定を回避して直接3D構造を再構成する。
• 3D再構成問題を、新しい凸剛性測度を最小化することで構造的一致性を強制する凸半定値計画（SDP）として定式化する。
• 剛性測度は点対点距離のずれに基づいて導出され、画像制約下で可能な限り剛性が高い解を促進する。
• 非凸定式化にありがちな局所最適解を回避するため、SDP緩和を用いてグローバル最適性を保証する。
• 各視点について、3D点の数をnとして、(n+1)×(n+1)のSDPを解き、構造推定と剛性の強制を同時に実行する。
• このフレームワークは本質的に剛性に依存しないため、データに応じて自動的に剛体、非剛体、または関節運動のシーンに適応する。

実験結果

リサーチクエスチョン

• RQ1 剛体と非剛体シーンの両方を事前のシーンタイプの知識なしに処理できる統合的3D再構成フレームワークを開発できるか？
• RQ2 「剛性を最大化する」原則を凸最適化問題として再定式化することで、グローバル最適性を保証できるか？
• RQ3 凸剛性測度は非凸代替手法に比べ、再構成精度とロバスト性において優れているか？
• RQ4 本手法は、関節運動や非剛体変形を含む多様な3D再構成ベンチマークで最先端の性能を達成できるか？
• RQ5 精度と計算スケーラビリティの観点から、既存の凸定式化と比較して、本手法はどのように差をつけるか？

主な発見

• CMU Mocapデータセットでは、ポイント関節運動シーケンスで平均相対3D誤差1.11%、軸関節運動シーケンスで0.45%を達成し、ベースライン[3]を顕著に上回った。
• Dance, Drink, Pickup, Yoga, Stretchシーケンスにおいて、提案手法は最先端のベースライン[3]よりも一貫して低い平均3D再構成誤差を示した。
• HumanEva-Iデータセットでは、RMSEが0.162 mm、相対誤差が3.02%を達成し、ベースライン[3]（0.200 mm、3.73%）を上回った。
• 本手法はHumanEva-Iデータセットで最先端の精度を達成し、非剛体形状再構成において優れた性能を示した。
• 関節運動を低誤差で成功裏に再構成したため、複雑な運動タイプに対してもロバストであることが示された。
• 凸定式化によりグローバル最適性が保証され、非凸アプローチが抱える局所最適解の問題を回避できた。