[論文レビュー] Dense Non-rigid Structure-from-Motion Made Easy - A Spatial-Temporal Smoothness based Solution

Yuchao Dai, Huizhong Deng+1 more|arXiv (Cornell University)|Jun 27, 2017

Advanced Vision and Imaging参考文献 12被引用数 6

ひとこと要約

本論文は、空間的・時間的滑らかさとL1ノルムのデータ適合性を活用することで、合成および実世界のシーケンスの両方で最先端の3次元再構成を達成する、単純で頑健かつ効率的な密な非剛体構造から運動を求める手法を提案する。最小二乗最適化の系列として問題を定式化することで、CPUベースの実装が容易になり、ノイズや外れ値に対しても効果的に対処できる。

ABSTRACT

This paper proposes a simple spatial-temporal smoothness based method for solving dense non-rigid structure-from-motion (NRSfM). First, we revisit the temporal smoothness and demonstrate that it can be extended to dense case directly. Second, we propose to exploit the spatial smoothness by resorting to the Laplacian of the 3D non-rigid shape. Third, to handle real world noise and outliers in measurements, we robustify the data term by using the $L_1$ norm. In this way, our method could robustly exploit both spatial and temporal smoothness effectively and make dense non-rigid reconstruction easy. Our method is very easy to implement, which involves solving a series of least squares problems. Experimental results on both synthetic and real image dense NRSfM tasks show that the proposed method outperforms state-of-the-art dense non-rigid reconstruction methods.

研究の動機と目的

• 密な非剛体構造から運動を求める問題の過剰に制約のない性質を、内在する空間的および時間的滑らかさを活用することで解決すること。
• 複雑な最適化やGPUアクセcelerationを必要とせず、実世界の2次元測定におけるノイズや外れ値に対して頑健な手法を開発すること。
• 最小二乗に基づく単純で実装が容易な解決策を提供し、既存の最先端手法を上回ること。
• 密な再構成において、3次元形状のラプラシアンを用いて空間的滑らかさを効果的にモデル化できることを示すこと。

提案手法

• 時間的滑らかさ正則化をスパースNRSfMから密なNRSfMへ拡張し、3次元形状の時間的整合性をモデル化する。
• 3次元非剛体形状にラプラシアン作用素を適用することで空間的滑らかさを導入し、局所的な幾何的規則性を促進する。
• 2次元特徴点トラックにおけるノイズや外れ値への感受性を低減するため、L2ノルムの代わりにL1ノルムをデータ項に導入する。
• 全体の最適化問題を、スパース最小二乗部分問題の系列として解くことで、効率的なCPUベースの実装を可能にする。
• 正射影カメラモデルを用い、カメラの中心を物体の重心に位置させる仮定により、因子分解問題を単純化する。
• 反復的リファインメントを用い、空間的・時間的制約および頑健なコスト関数のもとで、カメラ運動と3次元形状を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 時間的滑らかさ正則化を、追加の仮定や複雑な最適化を必要とせずに、密な非剛体構造から運動に直接適用できるか？
• RQ2 3次元形状のラプラシアンを用いてモデル化された空間的滑らかさは、どれほど密な再構成の正確性を向上させられるか？
• RQ3 L1ノルムデータ項を用いることで、実世界の2次元測定におけるノイズや外れ値への耐性はどの程度向上するか？
• RQ4 単純で凸的かつ最小二乗に基づくフレームワークは、複雑でGPUアクセceleratedな最先端手法と比較して、競争力のある性能を達成できるか？

主な発見

• 提案手法は競争力のある3次元再構成精度を達成し、4つの合成顔シーケンスにおいて平均RMS誤差がそれぞれ0.0636、0.0569、0.0374、0.0428であり、最先端手法を上回るか同等の性能を示した。
• 大きな変形と小さな回転を伴う挑戦的なHeartシーケンスでは、再構成が平坦になり、カメラ回転推定の不正確さに感受性があることが示された。
• 入力の大きさに対して最大5%のガウスノイズが加わっても、3次元再構成誤差は低く保たれ、測定ノイズに対する頑健性を示した。
• 外れ値の割合が10%まで上昇しても、3次元誤差はわずかに増加し、すべての合成シーケンスで0.1未満に保たれた。外れ値に対する強い耐性が確認された。
• 時間的滑らかさ、空間的滑らかさ、頑健なコスト関数を順次追加することで再構成品質が著しく向上し、RMS誤差が0.5084から0.0700に減少した。
• 全手法が最小二乗問題の系列でのみ構成されており、非常に効率的で、専用ハードウェアを必要としないCPU実行に適している。