[论文解读] Intrinsic Dynamic Shape Prior for Fast, Sequential and Dense Non-Rigid Structure from Motion with Detection of Temporally-Disjoint Rigidity

Vladislav Golyanik, André Jonas+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Vision and Imaging参考文献 45被引用 5

一句话总结

该论文提出了一种快速、顺序且密集的非刚性结构运动方法，采用内在动态形状先验（DSPR），通过利用从代表性输入序列学习到的、序列特定的形变模型，实现从噪声或不完整点轨迹的实时重建。该方法通过结合多起点梯度下降与源自代表性输入序列的动态形状先验，在存在遮挡和非均匀运动等挑战性场景下，实现了最先进的精度和压缩比。

ABSTRACT

While dense non-rigid structure from motion (NRSfM) has been extensively studied from the perspective of the reconstructability problem over the recent years, almost no attempts have been undertaken to bring it into the practical realm. The reasons for the slow dissemination are the severe ill-posedness, high sensitivity to motion and deformation cues and the difficulty to obtain reliable point tracks in the vast majority of practical scenarios. To fill this gap, we propose a hybrid approach that extracts prior shape knowledge from an input sequence with NRSfM and uses it as a dynamic shape prior for sequential surface recovery in scenarios with recurrence. Our Dynamic Shape Prior Reconstruction (DSPR) method can be combined with existing dense NRSfM techniques while its energy functional is optimised with stochastic gradient descent at real-time rates for new incoming point tracks. The proposed versatile framework with a new core NRSfM approach outperforms several other methods in the ability to handle inaccurate and noisy point tracks, provided we have access to a representative (in terms of the deformation variety) image sequence. Comprehensive experiments highlight convergence properties and the accuracy of DSPR under different disturbing effects. We also perform a joint study of tracking and reconstruction and show applications to shape compression and heart reconstruction under occlusions. We achieve state-of-the-art metrics (accuracy and compression ratios) in different scenarios.

研究动机与目标

• 解决密集非刚性结构从运动（NRSfM）在现实场景中因病态性、噪声和不可靠点轨迹导致的实际局限性。
• 通过利用从代表性输入序列学习到的动态形状先验（DSP），解耦形状与姿态估计，实现快速、顺序的3D重建。
• 通过利用时间递归性和可变形物体的分离刚性特性，提升对不准确和缺失点轨迹的鲁棒性。
• 开发一种紧凑、序列特定的几何足迹（DSP），适用于遮挡下的形状压缩与重建。
• 与现有NRSfM方法兼容，同时通过在新帧上使用多起点梯度下降实现实时优化。

提出的方法

• 使用一种名为Dense Consolidating Monocular Dynamic Reconstruction（D-CMDR）的新密集NRSfM方法离线生成动态形状先验（DSP），该方法在先前工作的基础上引入逐点整合，以提升鲁棒性。
• 将DSP用作序列特定的、有序的3D形状状态集合，以建模代表性序列中观察到的全部形变类型。
• 对于新到达的帧，通过动态形状先验重建（DSPR）实现实时重建，该方法在多起点梯度下降（MSGD）与相机姿态估计之间交替迭代，以寻找与2D测量值对应的全局最优3D形状。
• 解耦形状与姿态估计：DSP独立编码形状变化，不受相机运动影响，从而在任意相机姿态下实现鲁棒重建。
• 优化一种混合能量函数，结合数据保真度（E_fit）、时间一致性（E_temp）和连接约束（E_linking），排除空间正则化（E_reg.）以提升灵活性。
• 利用时间上分离刚性的假设——即序列中重复出现的3D状态——即使在新帧从新视角观测时，也能实现高效且精确的重建。

实验结果

研究问题

• RQ1 学习到的、序列特定的动态形状先验是否能提升密集NRSfM在噪声、不完整或不准确点轨迹下的鲁棒性？
• RQ2 动态形状先验在多大程度上能实现在任意相机运动下，从单目视频序列中进行实时、顺序的3D重建？
• RQ3 与现有NRSfM方法相比，所提出的DSPR框架在遮挡和缺失数据条件下的3D形状重建效果如何？
• RQ4 DSP能否作为有效的几何压缩机制，同时保持高重建精度？
• RQ5 在标准基准和具有扰动轨迹的合成数据集上，该方法是否在精度和鲁棒性方面优于当前最先进的NRSfM技术？

主要发现

• 所提出的D-CMDR方法在NRSfM挑战基准上实现了50.19毫米的平均RMSE，优于多个近期方法，接近最先进的48.79毫米结果。
• 排除最具挑战性的环形相机轨迹后，平均RMSE提升至44.8毫米，表明在多样化视角条件下表现强劲。
• 在之字形轨迹上表现最佳（RMSE为37.54毫米），该轨迹提供了最丰富的视角采样，证实了姿态多样性对精确重建的重要性。
• 该方法对扰动点轨迹和缺失数据表现出鲁棒性，在所有场景类型中均保持一致性能，包括最具挑战性的橡胶拉伸序列。
• DSPR在保持高精度的同时实现了高压缩比，证明其在形状压缩应用中的适用性。
• 在新构建的演员动作捕捉数据集上进行联合跟踪与重建评估时，该框架表现优异，验证了其在具有复杂形变和遮挡的真实场景中的实际适用性。