[論文レビュー] Intrinsic Dynamic Shape Prior for Fast, Sequential and Dense Non-Rigid Structure from Motion with Detection of Temporally-Disjoint Rigidity

Vladislav Golyanik, André Jonas+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Vision and Imaging参考文献 45被引用数 5

ひとこと要約

本論文は、代表的な入力シーケンスから学習された、シーケンス固有の変形モデルを用いた内因性の動的形状プリオリ（DSPR）を用いて、ノイズや不完全な点トラックからのリアルタイム再構成を可能にする、高速で逐次的かつ密な非剛性構造からモーション（NRSfM）手法を提案する。本手法は、マルチスタート勾配降下法と代表的入力シーケンスから導出された動的形状プリオリを組み合わせることで、遮蔽や非一様な運動を含む困難な状況下でも最先端の精度と圧縮比を達成する。

ABSTRACT

While dense non-rigid structure from motion (NRSfM) has been extensively studied from the perspective of the reconstructability problem over the recent years, almost no attempts have been undertaken to bring it into the practical realm. The reasons for the slow dissemination are the severe ill-posedness, high sensitivity to motion and deformation cues and the difficulty to obtain reliable point tracks in the vast majority of practical scenarios. To fill this gap, we propose a hybrid approach that extracts prior shape knowledge from an input sequence with NRSfM and uses it as a dynamic shape prior for sequential surface recovery in scenarios with recurrence. Our Dynamic Shape Prior Reconstruction (DSPR) method can be combined with existing dense NRSfM techniques while its energy functional is optimised with stochastic gradient descent at real-time rates for new incoming point tracks. The proposed versatile framework with a new core NRSfM approach outperforms several other methods in the ability to handle inaccurate and noisy point tracks, provided we have access to a representative (in terms of the deformation variety) image sequence. Comprehensive experiments highlight convergence properties and the accuracy of DSPR under different disturbing effects. We also perform a joint study of tracking and reconstruction and show applications to shape compression and heart reconstruction under occlusions. We achieve state-of-the-art metrics (accuracy and compression ratios) in different scenarios.

研究の動機と目的

• ノイズや信頼性の低い点トラック、不適切な定式化の影響により、現実世界のシナリオにおける密な非剛性構造からモーション（NRSfM）の実用的限界を解消する。
• 代表的入力シーケンスから学習した動的形状プリオリ（DSP）を用いて、形状とポーズ推定を分離することで、高速で逐次的な3次元再構成を実現する。
• 変形物体における時間的再帰性と非剛性の不連続性を活用することで、不正確または欠落した点トラックに対する耐性を向上させる。
• 遮蔽下での再構成や形状圧縮に適した、シーケンス固有のコンactな幾何的フィートプリント（DSP）を構築する。
• 既存のNRSfM手法と統合可能であり、新規フレームの入力に対してマルチスタート勾配降下法を用いたリアルタイム最適化を可能にする。

提案手法

• 代表的入力シーケンスから、密なNRSfM手法「Dense Consolidating Monocular Dynamic Reconstruction（D-CMDR）」を用いて、オフラインで動的形状プリオリ（DSP）を生成する。本手法は、各点ごとの統合処理を導入することで、より高い耐性を実現する。
• DSPを、代表的シーケンスで観察された全変形の多様性をモデル化する、シーケンス固有の順序付き3次元形状状態の集合として使用する。
• 新規フレームの入力に対して、リアルタイム再構成を動的形状プリオリ再構成（DSPR）により実行する。DSPRは、マルチスタート勾配降下法（MSGD）とカメラポーズ推定を交互に実行することで、2次元測定値に対応するグローバル最適な3次元形状を探索する。
• 形状とポーズ推定を分離する：DSPはカメラの運動とは独立して形状の変動を符号化するため、任意のカメラポーズ下でも耐性のある再構成が可能である。
• データ適合性（E_fit）、時間的整合性（E_temp）、リンク制約（E_linking）を組み合わせたハイブリッドエネルギー関数を最適化する。空間正則化（E_reg.）を除外することで柔軟性を確保する。
• 時間的非連続剛性（すなわち、シーケンス内で再発する3次元状態）の仮定を活用することで、新規の視点からフレームが観測されても、効率的かつ正確な再構成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習された、シーケンス固有の動的形状プリオリは、ノイズや不完全、または不正確な点トラック下でも、密なNRSfMの耐性を向上させることができるか？
• RQ2 動的形状プリオリは、任意のカメラ運動を伴う単眼動画シーケンスから、リアルタイムで逐次的な3次元再構成をどの程度可能にするか？
• RQ3 提案されたDSPRフレームワークは、遮蔽や欠落データ下でも、既存のNRSfM手法と比較して、どの程度の3次元形状再構成効果を示すか？
• RQ4 DSPは、高い再構成精度を維持しながら、効果的な幾何的圧縮メカニズムとして機能するか？
• RQ5 提案手法は、ノイズ入りのトラックを含む標準ベンチマークおよび合成データセットにおいて、最先端のNRSfM技術と比較して精度と耐性の面で優れているか？

主な発見

• 提案されたD-CMDR手法は、NRSfMチャレンジベンチマークで平均RMSE 50.19 mmを達成し、複数の最近の手法を上回り、最先端の48.79 mmに近づいた。
• 最も挑戦的なカメラ軌道（円運動）を除くと、平均RMSEは44.8 mmに改善され、多様な視点条件下でも優れた性能を示した。
• ジグザグ軌道（RMSE 37.54 mm）で最高の性能を示し、視点の多様性が正確な再構成に重要であることを裏付けた。
• 点トラックのノイズや欠落に対しても、すべてのシーンタイプで一貫した性能を示し、特に挑戦的なゴムの伸縮シーケンスでも耐性を示した。
• DSPRは高い圧縮比を維持しながらも高い精度を達成しており、形状圧縮用途に適していることを示した。
• 新たに合成されたアクターのモーショントラッキングデータセットにおける共同トラッキングと再構成評価では、複雑な変形と遮蔽を伴う現実世界のシナリオでも強力な性能を示し、実用的応用の有効性を検証した。