[論文レビュー] Dense Non-Rigid Structure from Motion: A Manifold Viewpoint

Suryansh Kumar, Luc Van Gool+4 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Vision and Imaging参考文献 58被引用数 4

ひとこと要約

本論文では、局所的線形部分空間をグラスマン多様体でモデル化し、グローバルな低ランク形状表現を用いることで、複雑な非剛性変形の高精度でスケーラブルかつロバストな3次元再構成を実現する多様体ベースの手法を提案する。本手法は、空間的・時間的多様体統合を通じて再構成とクラスタリングを統合的に最適化することで、ベンチマークデータセット上で最先端の性能を達成する。

ABSTRACT

Non-Rigid Structure-from-Motion (NRSfM) problem aims to recover 3D geometry of a deforming object from its 2D feature correspondences across multiple frames. Classical approaches to this problem assume a small number of feature points and, ignore the local non-linearities of the shape deformation, and therefore, struggles to reliably model non-linear deformations. Furthermore, available dense NRSfM algorithms are often hurdled by scalability, computations, noisy measurements and, restricted to model just global deformation. In this paper, we propose algorithms that can overcome these limitations with the previous methods and, at the same time, can recover a reliable dense 3D structure of a non-rigid object with higher accuracy. Assuming that a deforming shape is composed of a union of local linear subspace and, span a global low-rank space over multiple frames enables us to efficiently model complex non-rigid deformations. To that end, each local linear subspace is represented using Grassmannians and, the global 3D shape across multiple frames is represented using a low-rank representation. We show that our approach significantly improves accuracy, scalability, and robustness against noise. Also, our representation naturally allows for simultaneous reconstruction and clustering framework which in general is observed to be more suitable for NRSfM problems. Our method currently achieves leading performance on the standard benchmark datasets.

研究の動機と目的

• 複雑で非線形的な変形を扱う既存のスパースおよび密度的NRSfM手法の限界を解決すること。
• 密度的な表面運動において一般的に見られる局所的形状変形をモデル化する際のグローバルな低ランク仮定の失敗を克服すること。
• 局所的およびグローバルな変形制約を統合したスケーラブルでノイズ耐性のあるフレームワークを構築し、密度的な3次元再構成を実現すること。
• 統一された多様体表現を通じて、同時に再構成とクラスタリングを実現すること。
• ノイズ耐性および計算効率の向上を図り、標準的なNRSfMベンチマークで最高のパフォーマンスを達成すること。

提案手法

• 空間的および時間的両方の局所的線形部分空間を表すために、グラスマン多様体を用いて局所的形状変形をモデル化する。
• フレーム全体にわたるグローバル3次元形状を、形状が低次元部分空間に存在すると仮定した低ランク行列分解で表現する。
• グラスマン多様体上の次元削減を用いて、クラスタリングの精度とノイズ耐性を向上させる。
• 形状多様体とトラジェクトリーマニフォールドの両方における空間的・時間的情報を統合するための連合最適化を定式化する。
• 最適な部分空間表現を得るため、特異値の97%（τ = 0.97）を保持するように、しきい値に基づく次元選択を適用する。
• 隣接するトラジェクトリの類似性を活用することで、ノイズの多い入力や未知の時間的形状情報に対応できるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな低ランク仮定と比較して、グラスマン多様体上の局所的線形部分空間を用いることで、複雑な非剛性変形のモデリングが改善されるか？
• RQ2 局所的およびグローバルな変形制約をどのように連合最適化することで、密度的な3次元再構成の精度が向上するか？
• RQ3 グラスマン多様体上で次元削減を施すことで、NRSfMにおけるノイズ耐性がどの程度向上するか？
• RQ4 統一された空間的・時間的多様体表現は、密度的なNRSfMにおける同時に再構成とクラスタリングを可能にするか？
• RQ5 カメラの運動の変動やノイズの多い入力条件下で、既存の最先端手法と比較して本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、密度的な非剛性構造から運動（NRSfM）の標準ベンチマークデータセットで最先端のパフォーマンスを達成した。
• 多様体の次元選択にτ = 0.97を用いることで、多様なデータセットにおいて一貫して最適な再構成精度が得られた。
• クラスタリングの前に、多様体表現を低次元部分空間に射影することで、ノイズ耐性が顕著に向上した。
• 再構成とクラスタリングを統合したフレームワークにより、従来のグローバルな低ランクモデルに比べ、複雑で非線形的な変形の処理がより効果的に行えるようになった。
• 従来のスパースNRSfM手法が密度的設定に適用する際に抱える制限を克服し、高密度な特徴点に対しても効果的にスケーリングできるようになった。
• 特にノイズの多い条件下でも、既存の密度的NRSfMアルゴリズムに比べ、精度および計算効率の両面で優れた性能を示した。