[论文解读] Dense Non-Rigid Structure from Motion: A Manifold Viewpoint

Suryansh Kumar, Luc Van Gool+4 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Vision and Imaging参考文献 58被引用 4

一句话总结

本文提出一种基于流形的密集非刚性结构运动方法，通过使用格拉斯曼流形建模局部线性子空间和全局低秩形状表示，实现了对复杂形变的精确、可扩展且鲁棒的3D重建。该方法通过联合优化重建与聚类实现时空流形融合，在基准数据集上达到最先进性能。

ABSTRACT

Non-Rigid Structure-from-Motion (NRSfM) problem aims to recover 3D geometry of a deforming object from its 2D feature correspondences across multiple frames. Classical approaches to this problem assume a small number of feature points and, ignore the local non-linearities of the shape deformation, and therefore, struggles to reliably model non-linear deformations. Furthermore, available dense NRSfM algorithms are often hurdled by scalability, computations, noisy measurements and, restricted to model just global deformation. In this paper, we propose algorithms that can overcome these limitations with the previous methods and, at the same time, can recover a reliable dense 3D structure of a non-rigid object with higher accuracy. Assuming that a deforming shape is composed of a union of local linear subspace and, span a global low-rank space over multiple frames enables us to efficiently model complex non-rigid deformations. To that end, each local linear subspace is represented using Grassmannians and, the global 3D shape across multiple frames is represented using a low-rank representation. We show that our approach significantly improves accuracy, scalability, and robustness against noise. Also, our representation naturally allows for simultaneous reconstruction and clustering framework which in general is observed to be more suitable for NRSfM problems. Our method currently achieves leading performance on the standard benchmark datasets.

研究动机与目标

• 解决现有稀疏与密集NRSfM方法在处理复杂非线性形变和可扩展性方面的局限性。
• 克服全局低秩假设在建模密集表面运动中常见的局部形状形变时的失败问题。
• 开发一种可扩展、抗噪鲁棒的框架，整合局部与全局形变约束，用于密集3D重建。
• 通过统一的流形表示实现重建与聚类的同时进行。
• 在标准NRSfM基准上实现领先性能，同时提升对噪声的鲁棒性与计算效率。

提出的方法

• 使用格拉斯曼流形表示空间与时间维度中的局部线性子空间，以建模局部形状形变。
• 通过低秩矩阵分解表示跨帧的全局3D形状，假设形状位于低维子空间中。
• 在格拉斯曼流形上进行降维，以提升聚类效果并增强对噪声的鲁棒性。
• 制定一种联合优化方法，融合形状与轨迹流形中的空间与时间信息。
• 应用基于阈值的维度选择（τ = 0.97），以保留奇异值中97%的方差，实现最优子空间表示。
• 通过利用邻近轨迹相似性，将框架扩展以处理噪声输入和未知时间形状信息。

实验结果

研究问题

• RQ1 与全局低秩假设相比，基于格拉斯曼流形的局部线性子空间是否能更优地建模复杂非刚性形变？
• RQ2 如何联合优化局部与全局形变约束以提升密集3D重建的准确性？
• RQ3 在格拉斯曼流形上进行降维在多大程度上能提升NRSfM对噪声的鲁棒性？
• RQ4 统一的空间-时间流形表示是否能实现在密集NRSfM中同时进行重建与聚类？
• RQ5 与现有最先进方法相比，该方法在不同相机运动和噪声输入下的表现如何？

主要发现

• 所提方法在标准密集非刚性结构从运动基准数据集上达到最先进性能。
• 在所有不同数据集上，使用τ = 0.97进行维度选择均能持续实现最优重建精度。
• 通过在聚类前将流形表示投影到低维子空间，该方法显著提升了对噪声的鲁棒性。
• 联合重建与聚类框架相比以往的全局低秩模型，能更好地处理复杂非线性形变。
• 该算法在密集特征点上具有良好的可扩展性，克服了先前稀疏NRSfM方法在密集设置下的局限性。
• 该方法在准确性和计算效率方面均优于现有密集NRSfM算法，尤其在噪声条件下表现更优。