[論文レビュー] Multi-body Non-rigid Structure-from-Motion

Suryansh Kumar, Yuchao Dai+1 more|arXiv (Cornell University)|Jul 15, 2016

Advanced Vision and Imaging参考文献 21被引用数 3

ひとこと要約

本稿では、2次元特徴トラックから複数の非剛性物体の3D形状を同時に再構築し、複数の非剛性物体をセグメンテーションする、初めてのフレームワークを提案する。各物体の運動をアフィン部分空間に従うものとモデル化し、スパースコーディングによる自己表現性を強制することで、非凸最適化問題をADMMを用いて解く。合成および実世界のシーケンスにおいて、2段階的手法に比べ優れた3D再構築とセグメンテーション性能を達成する。

ABSTRACT

Conventional structure-from-motion (SFM) research is primarily concerned with the 3D reconstruction of a single, rigidly moving object seen by a static camera, or a static and rigid scene observed by a moving camera --in both cases there are only one relative rigid motion involved. Recent progress have extended SFM to the areas of {multi-body SFM} (where there are {multiple rigid} relative motions in the scene), as well as {non-rigid SFM} (where there is a single non-rigid, deformable object or scene). Along this line of thinking, there is apparently a missing gap of "multi-body non-rigid SFM", in which the task would be to jointly reconstruct and segment multiple 3D structures of the multiple, non-rigid objects or deformable scenes from images. Such a multi-body non-rigid scenario is common in reality (e.g. two persons shaking hands, multi-person social event), and how to solve it represents a natural {next-step} in SFM research. By leveraging recent results of subspace clustering, this paper proposes, for the first time, an effective framework for multi-body NRSFM, which simultaneously reconstructs and segments each 3D trajectory into their respective low-dimensional subspace. Under our formulation, 3D trajectories for each non-rigid structure can be well approximated with a sparse affine combination of other 3D trajectories from the same structure (self-expressiveness). We solve the resultant optimization with the alternating direction method of multipliers (ADMM). We demonstrate the efficacy of the proposed framework through extensive experiments on both synthetic and real data sequences. Our method clearly outperforms other alternative methods, such as first clustering the 2D feature tracks to groups and then doing non-rigid reconstruction in each group or first conducting 3D reconstruction by using single subspace assumption and then clustering the 3D trajectories into groups.

研究の動機と目的

• 複数の独立して変形する物体が存在する状況におけるSFM研究における欠落しているギャップを埋める：複数体非剛性構造から運動（NRSFM）。
• 2段階的手法ではなく、非剛性物体の3D再構築とモーションセグメンテーションを同時に解く。
• 各非剛性物体の3D軌跡が低次元アフィン部分空間に存在するとモデル化するため、部分空間クラスタリングの原則を活用する。
• 交替方向乗数法（ADMM）を用いて、3D構造とセグメンテーションを同時に推定する効率的な最適化フレームワークを開発する。
• 複数の非剛性物体が相互作用する複雑な実世界および合成シーケンスにおいて、優れた性能を示す。

提案手法

• 各非剛性物体の3D軌跡をアフィン部分空間に存在するとモデル化し、運動の低ランク表現を可能にする。
• 自己表現性を強制：同じ構造に属する各3D軌跡を、他の軌跡のスパースアフィン結合として表現する。
• 核ノルムとスパarsity正則化を施した非凸最適化問題として定式化し、ADMMを用いて解く。
• スパースコーディングから得られる類似度行列を用いてセグメンテーションを誘導し、同一物体の軌跡が正しくグループ化されるようにする。
• 密なシーケンスにおいて隣接制約を統合し、再構築の正確性を向上させる。
• 2次元特徴トラックに直接入力し、エンドツーエンドで3D再構築とセグメンテーションを出力する。

実験結果

リサーチクエスチョン

• RQ1 単一の剛性または非剛性運動を仮定せずに、1つの単眼映像シーケンスから複数の非剛性物体を同時に再構築・セグメンテーションすることは可能か？
• RQ2 自己表現的部分空間としての非剛性運動のモデリングは、2段階的手法に比べ、3D再構築とセグメンテーションの精度を向上させるか？
• RQ3 提案されたADMMベースの最適化は、非凸性を効果的に扱いながらも、計算効率を維持できるか？
• RQ4 人間同士が手を振るなど、複数の非剛性物体が相互作用する複雑な実世界シーケンスにおいて、本手法はどのように性能を発揮するか？
• RQ5 本手法は、密な特徴トラックおよびより長い動画シーケンスに対しても、顕著な性能劣化を伴わずにスケーラブルか？

主な発見

• UMPMデータセットでは、p2_free_2で3D再構築誤差0.1992、p3_ball_1で0.1348、p4_meet_12で0.0821を達成し、p4_meet_12を除きすべてのシーケンスでモーションセグメンテーション誤差eMS = 0.0を達成。p4_meet_12ではeMS = 0.0135であった。
• 合成顔シーケンスでは、CD制約下で3D再構築誤差0.0380を達成し、精度とロバストネスの両面でベースライン手法を上回った。
• UMPMシーケンスの5つのうち4つで完全なモーションセグメンテーション（eMS = 0.0）を達成し、強力なクラスタリング能力を示した。
• Face+Heartシーケンスの可視化結果では、各物体に明確な色ラベルが付与され、非剛性特徴トラックの正しくグループ化されたセグメンテーションが確認された。
• 図13に示すように、本手法から得られる類似度行列は、SSCに比べ真の物体関係をよりよく捉えており、明確なブロック構造が正しくセグメンテーションを示している。
• 2段階ベースライン（まず2Dトラックをクラスタリングし、その後再構築する、または単一部分空間で再構築してからクラスタリングする）に比べ、3D空間で両タスクを統合的に最適化することで、本手法は優れた性能を発揮した。