[论文解读] Deep Shape-from-Template: Wide-Baseline, Dense and Fast Registration and Deformable Reconstruction from a Single Image

David Fuentes-Jiménez, David Casillas-Pérez+3 more|arXiv (Cornell University)|Nov 19, 2018

Advanced Vision and Imaging参考文献 65被引用 6

一句话总结

该论文提出 DeepSfT，一种用于从单张图像实现密集、实时的可变形物体三维重建与配准的深度学习框架，使用三维模板。它通过支持宽基线操作、通用模板处理、使用真实数据的半监督训练以及相机无关的推理，克服了先前方法的局限性，在遮挡、模糊和纹理变化等挑战性条件下实现了最先进水平的精度。

ABSTRACT

We present Deep Shape-from-Template (DeepSfT), a novel Deep Neural Network (DNN) method for solving real-time automatic registration and 3D reconstruction of a deformable object viewed in a single monocular image.DeepSfT advances the state-of-the-art in various aspects. Compared to existing DNN SfT methods, it is the first fully convolutional real-time approach that handles an arbitrary object geometry, topology and surface representation. It also does not require ground truth registration with real data and scales well to very complex object models with large numbers of elements. Compared to previous non-DNN SfT methods, it does not involve numerical optimization at run-time, and is a dense, wide-baseline solution that does not demand, and does not suffer from, feature-based matching. It is able to process a single image with significant deformation and viewpoint changes, and handles well the core challenges of occlusions, weak texture and blur. DeepSfT is based on residual encoder-decoder structures and refining blocks. It is trained end-to-end with a novel combination of supervised learning from simulated renderings of the object model and semi-supervised automatic fine-tuning using real data captured with a standard RGB-D camera. The cameras used for fine-tuning and run-time can be different, making DeepSfT practical for real-world use. We show that DeepSfT significantly outperforms state-of-the-art wide-baseline approaches for non-trivial templates, with quantitative and qualitative evaluation.

研究动机与目标

• 解决可变形物体在复杂、非平面、弱纹理模板下，实现密集、实时、宽基线的形状恢复模板（SfT）这一长期挑战。
• 克服先前基于深度神经网络（DNN）的 SfT 方法所存在的局限性，如要求规则模板、仅使用合成数据训练以及相机特定的部署。
• 在真实世界成像条件下（如模糊、光照变化、部分遮挡）实现鲁棒性能。
• 将基于物理的约束（拟等距性）与深度学习相结合，以提升泛化能力和精度。
• 开发一种半监督训练范式，利用真实数据在无全监督的情况下弥合仿真到真实世界的差距。

提出的方法

• 提出 DeepSfT，一种深度神经网络，将三维模板直接编码到其学习权重中，从而在无需架构微调的情况下泛化至任意复杂模板。
• 设计一种半监督训练流程，结合合成数据与真实图像，利用配准精炼模块提升对齐精度，减少仿真到真实世界的域差距。
• 引入几何自适应模块，将输入图像归一化到标准相机坐标系，实现在不重新训练的情况下跨不同相机部署。
• 结合可微渲染与光度损失，端到端监督配准与重建，同时施加拟等距形变约束。
• 采用两阶段推理流程：首先预测粗略形变参数，然后通过使用密集图像融合的配准精炼模块进行优化。
• 利用多尺度特征提取主干网络（ResNet-50）提取鲁棒图像特征，随后通过解码器头预测密集的三维形变场。

实验结果

研究问题

• RQ1 深度神经网络能否在宽基线条件下，对通用、非平面、弱纹理模板实现从单张图像的密集、实时三维重建与配准？
• RQ2 当训练数据仅限于合成图像且仅有少量真实数据时，半监督学习在多大程度上能提升泛化能力？
• RQ3 几何自适应模块在不重新训练的情况下，能在多大程度上实现跨不同成像设置的相机无关推理？
• RQ4 将可微渲染与基于物理的形变先验（拟等距性）结合，是否能比纯学习方法带来更高的精度与鲁棒性？
• RQ5 所提出的方法在挑战性真实世界条件下，能否在精度、速度和鲁棒性方面均优于非DNN的SfT方法以及先前的DNN-based SfT方法？

主要发现

• 在 DS3 数据集上，DeepSfT 的平均三维重建误差为 5.52 mm，在 DS4 数据集上为 4.76 mm，显著优于如 DenseDepth 和 BTS 等最先进的单目深度方法，即使经过微调后仍表现更优。
• 在单张 NVIDIA GTX-1080 GPU 上，该方法运行速度达 20.40 fps，支持实时推理，而其他 DNN-based 方法如 CH17 和 NGO15 的速度慢了数个数量级。
• 使用真实数据进行半监督训练可显著缩小仿真到真实世界的差距，在 DS5 数据集上，光度误差从 0.380 降低至 0.345，降幅达 55%。
• 配准精炼模块在 DS2 数据集上将光度误差降低了 83%（从 0.090 降至 0.015），显著提升了密集对应关系的精度。
• DeepSfT 在挑战性条件下表现出稳健的泛化能力：在模糊、光照变化和部分遮挡条件下仍保持低误差，而先前方法则会灾难性失败。
• 该方法在所有测试数据集（DS1–DS5）上均达到最先进性能，包括非平面、弱纹理物体（如恐龙和鞋子），而此前方法难以有效处理此类对象。