[论文解读] Dense Non-rigid Structure-from-Motion Made Easy - A Spatial-Temporal Smoothness based Solution

Yuchao Dai, Huizhong Deng+1 more|arXiv (Cornell University)|Jun 27, 2017

Advanced Vision and Imaging参考文献 12被引用 6

一句话总结

该论文提出了一种简单、稳健且高效的密集非刚性运动结构（NRSfM）方法，通过利用时空平滑性与L1-范数数据保真度，在合成序列和真实世界序列上均实现了最先进的三维重建效果。通过将问题表述为一系列最小二乘优化，该方法实现了易于基于CPU的实现，同时有效处理噪声和异常值。

ABSTRACT

This paper proposes a simple spatial-temporal smoothness based method for solving dense non-rigid structure-from-motion (NRSfM). First, we revisit the temporal smoothness and demonstrate that it can be extended to dense case directly. Second, we propose to exploit the spatial smoothness by resorting to the Laplacian of the 3D non-rigid shape. Third, to handle real world noise and outliers in measurements, we robustify the data term by using the $L_1$ norm. In this way, our method could robustly exploit both spatial and temporal smoothness effectively and make dense non-rigid reconstruction easy. Our method is very easy to implement, which involves solving a series of least squares problems. Experimental results on both synthetic and real image dense NRSfM tasks show that the proposed method outperforms state-of-the-art dense non-rigid reconstruction methods.

研究动机与目标

• 通过利用固有的空间与时间平滑性，解决密集非刚性运动结构中欠定的问题。
• 开发一种对真实世界中2D测量的噪声与异常值具有鲁棒性的方法，且无需复杂的优化或GPU加速。
• 提供一种基于最小二乘法的简单、易于实现的解决方案，其性能优于现有最先进方法。
• 证明空间平滑性可通过3D形状的拉普拉斯算子有效建模，从而提升密集重建的准确性。

提出的方法

• 通过在3D形状演化中建模时间一致性，将稀疏NRSfM中的时间平滑性正则化方法扩展至密集NRSfM。
• 通过在3D非刚性形状上应用拉普拉斯算子，引入空间平滑性，以促进局部几何规则性。
• 采用L1范数替代L2范数来增强数据项的鲁棒性，降低对2D特征轨迹中噪声与异常值的敏感度。
• 通过一系列稀疏最小二乘子问题求解整体优化问题，从而实现高效的基于CPU的实现。
• 采用正交投影相机模型，并假设相机中心位于物体质心，以简化因子分解问题。
• 通过迭代优化，在时空约束与鲁棒代价函数下联合优化相机运动与3D形状。

实验结果

研究问题

• RQ1 是否可直接将时间平滑性正则化应用于密集非刚性运动结构，而无需额外假设或复杂优化？
• RQ2 通过3D形状的拉普拉斯算子建模的空间平滑性，能否有效提升密集重建的准确性？
• RQ3 使用L1-范数数据项在多大程度上增强了对真实世界2D测量中噪声与异常值的鲁棒性？
• RQ4 基于简单、凸性、最小二乘法的框架，是否能与复杂、GPU加速的最先进方法相媲美？

主要发现

• 所提方法在四组合成人脸序列上实现了具有竞争力的三维重建精度，平均RMS误差分别为0.0636、0.0569、0.0374和0.0428，优于或匹配了现有最先进方法。
• 在具有大形变与小旋转的挑战性Heart序列上，该方法生成了更扁平的重建结果，表明其对相机旋转估计不准确较为敏感。
• 在高达输入幅值5%的高斯噪声下，三维重建误差仍保持较低水平，表明对测量噪声具有强鲁棒性。
• 当异常值比例达到10%时，三维误差仅略有增加，且在所有合成序列中均保持在0.1以下，证实了对异常值具有强鲁棒性。
• 通过依次引入时间平滑性、空间平滑性与鲁棒代价函数，重建质量得到显著提升，RMS误差从0.5084降至0.0700。
• 整个方法仅通过一系列最小二乘问题实现，因此高效且适用于无需专用硬件的CPU执行。