[论文解读] 3DN: 3D Deformation Network

Weiyue Wang, Duygu Ceylan+2 more|arXiv (Cornell University)|Mar 8, 2019

3D Shape Modeling and Analysis参考文献 36被引用 10

一句话总结

3DN 提出了一种用于 3D 网格形变的端到端深度学习框架，该框架在保持源网格拓扑结构的同时，预测每个顶点的位移向量。通过引入可微分的网格采样算子，该方法能够处理不同密度的网格，并在 2D 图像、3D 网格和点云等多种目标上实现了最先进的形变质量表现。

ABSTRACT

Applications in virtual and augmented reality create a demand for rapid creation and easy access to large sets of 3D models. An effective way to address this demand is to edit or deform existing 3D models based on a reference, e.g., a 2D image which is very easy to acquire. Given such a source 3D model and a target which can be a 2D image, 3D model, or a point cloud acquired as a depth scan, we introduce 3DN, an end-to-end network that deforms the source model to resemble the target. Our method infers per-vertex offset displacements while keeping the mesh connectivity of the source model fixed. We present a training strategy which uses a novel differentiable operation, mesh sampling operator, to generalize our method across source and target models with varying mesh densities. Mesh sampling operator can be seamlessly integrated into the network to handle meshes with different topologies. Qualitative and quantitative results show that our method generates higher quality results compared to the state-of-the art learning-based methods for 3D shape generation. Code is available at github.com/laughtervv/3DN.

研究动机与目标

• 解决从 2D 图像、3D 点云或目标网格等多样化输入生成高质量 3D 网格形变的挑战。
• 克服现有基于学习的方法所存在的局限性，这些方法假设网格拓扑固定，或使用体素/点云表示。
• 通过利用对称性和表面平滑性等全局几何约束，实现合理且拓扑保持的形变。
• 开发一种可微分的网格采样算子，以处理源模型和目标模型中可变的网格密度。
• 使用可微分损失（如 Chamfer 距离和 Earth Mover’s 距离）在无监督设置下训练网络。

提出的方法

• 使用全局特征编码器从源网格和目标输入（2D 图像、3D 网格或点云）中提取特征。
• 采用可学习的偏移解码器，为源网格的每个顶点预测 3D 位移向量。
• 引入一种可微分的网格采样算子，将顶点特征投影到网格表面的一组采样点上。
• 在点云表示上计算形变后的源网格与目标之间的无监督损失——Chamfer 距离和 Earth Mover’s 距离。
• 引入辅助损失：对称性损失以保持对称结构，网格拉普拉斯损失以实现表面平滑，局部排列不变性损失以增强鲁棒性。
• 在解码过程中融合全局特征与顶点位置，以提升形变的空间一致性。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无需真实顶点对应关系的情况下生成高质量的 3D 网格形变？
• RQ2 如何使神经网络对源模型和目标模型中变化的网格密度和拓扑结构具有鲁棒性？
• RQ3 在缺乏成对监督的情况下，Chamfer 距离和 Earth Mover’s 距离等无监督损失在指导有效网格形变方面能发挥多大作用？
• RQ4 是否能够以可微分的方式有效编码对称性和表面平滑性等几何先验，以提升形变的合理性？
• RQ5 该方法在真实世界输入（如在线产品图像或部分 RGBD 扫描）上的泛化能力如何？

主要发现

• 3DN 在 ShapeNet 渲染图像上实现了最先进性能，Chamfer 距离为 4.50（×1000），EMD 为 2.06（×0.01），IoU 为 41.0%。
• 移除对称性损失后，Chamfer 距离上升至 4.78，IoU 降低至 36.7%，表明其在对称形状生成中的重要性。
• 网格拉普拉斯损失有助于实现更平滑的形变；其移除后，EMD 上升至 2.08，CD 上升至 4.55。
• 局部排列不变性损失提升了模型鲁棒性；其移除后，CD 上升至 5.31，EMD 上升至 2.96。
• 中间层特征融合导致收敛性变差，CD 上升至 6.63，EMD 上升至 3.03，表明其对训练稳定性有负面影响。
• 尽管仅在合成数据上进行训练，该模型在真实产品图像和部分扫描上仍表现出良好的泛化能力，在定性结果上优于 AtlasNet 和 Pixel2Mesh。