[论文解读] D$^2$IM-Net: Learning Detail Disentangled Implicit Fields from Single Images

Manyi Li, Hao Zhang|arXiv (Cornell University)|Dec 11, 2020

3D Shape Modeling and Analysis参考文献 4被引用 5

一句话总结

D$^2$IM-Net 提出了一种新颖的单目 3D 重建网络，通过双解码器架构将粗略形状与精细几何细节解耦。该网络从全局和局部特征中预测一个基础隐式场以及两个位移图（前向/后向），并引入一种基于拉普拉斯的损失函数以保留表面细节，从而实现高保真度重建，并在无细节监督的情况下实现跨形状的细节迁移。

ABSTRACT

We present the first single-view 3D reconstruction network aimed at recovering geometric details from an input image which encompass both topological shape structures and surface features. Our key idea is to train the network to learn a detail disentangled reconstruction consisting of two functions, one implicit field representing the coarse 3D shape and the other capturing the details. Given an input image, our network, coined D$^2$IM-Net, encodes it into global and local features which are respectively fed into two decoders. The base decoder uses the global features to reconstruct a coarse implicit field, while the detail decoder reconstructs, from the local features, two displacement maps, defined over the front and back sides of the captured object. The final 3D reconstruction is a fusion between the base shape and the displacement maps, with three losses enforcing the recovery of coarse shape, overall structure, and surface details via a novel Laplacian term.

研究动机与目标

• 为解决现有隐式网络在单目 3D 重建中对表面特征捕捉不足的问题，特别是难以恢复精细几何细节。
• 在弱监督设置下实现粗略形状与精细细节的解耦，而无需依赖真实细节标注。
• 通过将源图像的解耦位移图融合到目标粗略形状上，实现在不同 3D 形状之间的细节迁移。
• 设计一种损失函数，通过利用符号距离函数的拉普拉斯，有效捕捉表面级几何信息。
• 在不依赖对称性先验或颜色/材质线索的前提下，泛化至 13 个 ShapeNet 类别。

提出的方法

• 网络使用共享编码器从单张 RGB 图像中提取全局与局部特征。
• 基础解码器从全局特征重建粗略隐式场（SDF），而细节解码器则从局部特征预测两个 2D 位移图（前向与后向）。
• 最终的 3D 重建通过将基础 SDF 与位移图融合生成，其中位移值通过相机参数投影到基础形状上。
• 对前向位移图应用一种新颖的拉普拉斯损失，利用 SDF 的拉普拉斯对局部表面变化敏感的特性。
• 采用三种损失函数：基础 SDF 损失、融合形状上的完整 SDF 损失，以及前向位移图上的拉普拉斯损失，所有损失端到端联合优化。
• 在细节迁移中，利用预训练的分割模型建立源形状与目标形状语义部分之间的 3D 对应关系，实现位移图的局部融合。

实验结果

研究问题

• RQ1 单目 3D 重建网络能否在无细节显式监督的情况下，有效实现粗略形状与精细几何细节的解耦？
• RQ2 符号距离函数的拉普拉斯能否作为弱监督学习中表面细节监督的可靠代理？
• RQ3 解耦的位移图能否在保持目标粗略结构的前提下，实现高质量的跨形状细节迁移？
• RQ4 该方法在不使用对称性或材质先验的情况下，对 13 种不同形状类别泛化能力如何？
• RQ5 该方法在轻微弯曲或非平面表面上恢复表面细节的能力如何？

主要发现

• 可视化结果表明，网络成功实现了粗略形状与表面细节的解耦，其中位移图捕捉到了基础形状中不存在的条纹、纹理和精细特征。
• 拉普拉斯损失有效引导前向位移图模仿真实 SDF 的局部曲率敏感性，如图 3 所示，位移场的拉普拉斯与真实 SDF 高度匹配。
• 细节迁移实验表明，源图像中的细节（如椅子条纹）可被准确迁移到目标形状上，同时保持目标的粗略几何结构。
• 该方法实现了“复制-重建”功能，即将徽标粘贴到目标图像上后，可重建出保留徽标特征的 3D 形状。
• 网络在 13 个 ShapeNet 类别上具有良好的泛化能力，且在轻微弯曲表面上表现良好，但在高度弯曲或悬垂结构上性能有所下降。
• 消融研究证实，拉普拉斯损失对表面细节恢复至关重要，若移除该损失，将导致精细表面特征的丢失。