[论文解读] Deep Interpretable Non-Rigid Structure from Motion

Chen Kong, Simon Lucey|arXiv (Cornell University)|Feb 28, 2019

Advanced Vision and Imaging参考文献 39被引用 5

一句话总结

该论文提出了一种用于非刚性结构运动（NRSfM）的深度可解释神经网络，将问题建模为多层块稀疏字典学习，实现了无需3D监督的2D关键点到3D重建的鲁棒重建。该方法在大规模数据集上达到最先进性能，并能有效泛化到未见数据，通过一种基于一致性的质量度量替代了对真实3D数据的需求。

ABSTRACT

All current non-rigid structure from motion (NRSfM) algorithms are limited with respect to: (i) the number of images, and (ii) the type of shape variability they can handle. This has hampered the practical utility of NRSfM for many applications within vision. In this paper we propose a novel deep neural network to recover camera poses and 3D points solely from an ensemble of 2D image coordinates. The proposed neural network is mathematically interpretable as a multi-layer block sparse dictionary learning problem, and can handle problems of unprecedented scale and shape complexity. Extensive experiments demonstrate the impressive performance of our approach where we exhibit superior precision and robustness against all available state-of-the-art works. The considerable model capacity of our approach affords remarkable generalization to unseen data. We propose a quality measure (based on the network weights) which circumvents the need for 3D ground-truth to ascertain the confidence we have in the reconstruction. Once the network's weights are estimated (for a non-rigid object) we show how our approach can effectively recover 3D shape from a single image -- outperforming comparable methods that rely on direct 3D supervision.

研究动机与目标

• 解决现有NRSfM方法在处理大规模图像序列和复杂形变变化方面的局限性。
• 开发一种数学上可解释的深度神经网络，能够在无3D监督的情况下泛化到未见数据。
• 通过引入基于字典一致性的新型质量度量，消除对3D真实值进行模型评估的依赖。
• 仅使用2D投影实现单张图像的高精度3D重建，优于依赖3D监督的方法。

提出的方法

• 该方法将NRSfM建模为多层块稀疏字典学习问题，实现对非刚性形变的结构化建模。
• 将ISTA算法推广至块稀疏、多层设置，得到一种前馈式深度自编码器架构。
• 仅使用2D图像坐标端到端训练网络，无需3D监督，以恢复相机位姿和3D点坐标。
• 关键创新在于使用最终字典的互相关性作为模型质量的代理指标，实现在无真实3D数据情况下的训练指导。
• 该架构支持数十万张图像，能够学习大规模、复杂的形变参数化。
• 通过稀疏编码结构隐式利用时间与几何先验，提升鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 能否设计一种用于NRSfM的深度神经网络，兼具高度可扩展性与可解释性，避免典型DNN的黑箱特性？
• RQ2 仅在2D投影上进行训练的模型，能否在无3D监督的情况下有效泛化到未见图像序列？
• RQ3 在缺乏真实3D数据的情况下，所学习字典的互相关性能否作为3D重建质量的可靠代理度量？
• RQ4 该模型能否在大规模、复杂的非刚性运动序列上超越现有最先进方法，实现更优性能？

主要发现

• 所提方法在ShapeNet和CMU MoCap基准上达到最先进性能，形状误差率比次优方法低30%。
• 在单图人体姿态估计任务中，该方法在Subject 15上达到PMP 0.200，优于依赖3D真实值的方法。
• 最终字典的互相关性与3D重建误差之间存在强烈的负相关性（R² ≈ 0.9），验证了其用作质量代理的可靠性。
• 模型能有效泛化到未见数据，即使在无3D监督下，也能成功实现单张图像的3D重建。
• 该方法能以高保真度重建复杂物体类别（如椅子、沙发），如在140,606张图像上的定性结果所示。
• 失败案例（如Subject 106）表明该方法对极端形变较为敏感，但整体在多样化运动模式下保持了鲁棒性。