[論文レビュー] Scalable Dense Non-rigid Structure-from-Motion: A Grassmannian Perspective

Suryansh Kumar, Anoop Cherian+2 more|arXiv (Cornell University)|Mar 1, 2018

Advanced Vision and Imaging参考文献 33被引用数 7

ひとこと要約

本稿では、空間的・時間的局所的低ランク部分空間を表すためにグラスマン多様体を用いることで、複雑な非剛性変形をモデル化するスケーラブルな密な非剛性構造から姿勢を求める（NRSfM）手法を提案する。空間的・時間的局所線形性とADMMに基づく最適化を活用することで、合成データおよび実データ上で、再構成品質と実行時間の両面で最先端の手法を上回る優れた精度、ノイズ耐性、スケーラビリティを達成する。

ABSTRACT

This paper addresses the task of dense non-rigid structure-from-motion (NRSfM) using multiple images. State-of-the-art methods to this problem are often hurdled by scalability, expensive computations, and noisy measurements. Further, recent methods to NRSfM usually either assume a small number of sparse feature points or ignore local non-linearities of shape deformations, and thus cannot reliably model complex non-rigid deformations. To address these issues, in this paper, we propose a new approach for dense NRSfM by modeling the problem on a Grassmann manifold. Specifically, we assume the complex non-rigid deformations lie on a union of local linear subspaces both spatially and temporally. This naturally allows for a compact representation of the complex non-rigid deformation over frames. We provide experimental results on several synthetic and real benchmark datasets. The procured results clearly demonstrate that our method, apart from being scalable and more accurate than state-of-the-art methods, is also more robust to noise and generalizes to highly non-linear deformations.

研究の動機と目的

• 既存の密なNRSfM手法の限界、ならびにスケーラビリティの低さ、計算コストの高さ、ノイズへの感受性を解決する。
• 従来の手法が採用するグローバルな低ランク仮定の限界を克服し、複雑な変形における局所的な非線形性を捉える。
• グローバルな低ランク構造ではなく、局所的部分空間に基づくスケーラブルで、ロバストかつ高精度な密なNRSfMフレームワークを構築する。
• スパース特徴点やグローバルなパラメトリックモデルに依存せずに、高次元非線形変形の信頼性の高い3次元再構成を可能にする。
• 50,000点を超える大規模データセットに対しても高い再構成忠実度を維持しながら、計算効率の良いソリューションを提供する。

提案手法

• 空間的および時間的次元において、非剛性変形を局所的に有効な低次元線形部分空間の和としてモデル化する。
• 各局所的部分空間をグラスマン多様体上の点として表現することで、複雑な形状ダイナミクスをコンactかつ幾何学的に意味のある形で表現可能にする。
• 空間的・時間的制約のもとで再構成誤差を最小化するグラスマン多様体に基づく最適化問題としてNRSfM問題を定式化する。
• 非凸最適化を効率的に解くためにADMMに基づくアルゴリズムを用い、スケーラビリティと収束性を確保する。
• 局所共分散行列の上位固有値を活用して主要な変形モードを捉え、ノイズへの感受性を低減する。
• 空間的および時間的制約を結合された類似度行列 $ C_s $ および $ C_t $ を介して統合し、フレームおよびピクセル間で滑らかさと一貫性を促進する。

実験結果

リサーチクエスチョン

• RQ1 局所的に線形だがグローバルには非線形な複雑な非剛性変形を効果的にモデル化するため、グラスマン多様体表現は有効か？
• RQ2 グローバルな低ランク仮定と比較して、変形をグラスマン多様体上でモデル化することで、スケーラビリティとロバスト性はどのように向上するか？
• RQ3 空間的・時間的局所的部分空間は、密なNRSfMにおける再構成精度とノイズ耐性をどの程度向上させるか？
• RQ4 提案手法は、50,000点を超える大規模な密なデータセットにおいて、合理的な実行時間で高い性能を達成できるか？
• RQ5 局所的部分空間の初期化や使用する固有値の数に対して、この手法はどの程度感度を示すか？

主な発見

• 提案手法は、合成データおよび実世界のデータセット（kinect_paperおよび顔シーケンスベンチマークを含む）において、最先端の手法と比較して顕著に低い3次元再構成誤差を達成した。
• 高ノイズ環境（最大5％のガウスノイズ）下でも安定した性能を維持し、平均再構成誤差の増加が最小限に抑えられ、強い耐性を示した。
• アブレーションスタディの結果、空間的および時間的制約の両方が不可欠であることが確認され、いずれかを除外すると再構成精度が著しく低下した。
• 50,000点を超えるデータセットに対しても、実行時間の増加が劣線形に推移するなど、効率的なスケーリングが可能であり、計算効率において従来の密なNRSfM手法を上回った。
• 実験の結果、各局所的部分空間で上位数個の固有値を使用するだけで、すべての固有値を使用する場合と同等またはより良い結果が得られ、局所的低ランクモデル化の有効性が裏付けられた。
• 類似度行列 $ C_s $ および $ C_t $ の収束は、安定的かつ意味のある局所的部分空間構造を示しており、グラスマン多様体定式化の妥当性を支持する。