[论文解读] 3D Shape Reconstruction from Free-Hand Sketches

Jiayun Wang, Jierui Lin+4 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 47被引用 6

一句话总结

本文提出了一种从单视角手绘草图进行3D形状重建的新方法，通过使用合成草图进行训练并引入草图标准化模块来解决数据不足和风格差异问题，该模块可处理形变和个体绘图风格。该方法在泛化到真实手绘草图方面达到当前最优性能，优于在无畸变线条图上训练的模型。

ABSTRACT

Sketches are the most abstract 2D representations of real-world objects. Although a sketch usually has geometrical distortion and lacks visual cues, humans can effortlessly envision a 3D object from it. This suggests that sketches encode the information necessary for reconstructing 3D shapes. Despite great progress achieved in 3D reconstruction from distortion-free line drawings, such as CAD and edge maps, little effort has been made to reconstruct 3D shapes from free-hand sketches. We study this task and aim to enhance the power of sketches in 3D-related applications such as interactive design and VR/AR games. Unlike previous works, which mostly study distortion-free line drawings, our 3D shape reconstruction is based on free-hand sketches. A major challenge for free-hand sketch 3D reconstruction comes from the insufficient training data and free-hand sketch diversity, e.g. individualized sketching styles. We thus propose data generation and standardization mechanisms. Instead of distortion-free line drawings, synthesized sketches are adopted as input training data. Additionally, we propose a sketch standardization module to handle different sketch distortions and styles. Extensive experiments demonstrate the effectiveness of our model and its strong generalizability to various free-hand sketches. Our code is publicly available at https://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketches.

研究动机与目标

• 解决缺乏成对的手绘草图与3D形状数据集的问题，这限制了从草图进行3D重建的训练。
• 克服在无畸变线条图上训练的模型与包含几何畸变和个体风格的真实手绘草图之间的泛化差距。
• 开发一种从单张手绘草图重建3D形状的方法，以支持交互式3D设计和VR/AR应用。
• 引入草图标准化模块，解耦形变与风格，以提升对草图变化的鲁棒性。

提出的方法

• 使用通过可微渲染从3D形状生成的合成草图作为训练数据，以解决数据不足问题。
• 引入草图标准化模块，执行草图形变和风格迁移，以标准化输入草图。
• 采用视图估计模块预测输入草图的规范视点，实现重建3D形状的姿态对齐。
• 训练深度神经网络，利用切比雪夫距离（CD）和地球移动距离（EMD）的组合损失函数，从标准化草图中重建3D形状。
• 采用两阶段训练流程：首先对输入草图应用标准化；其次使用标准化表示进行3D重建。
• 在真实手绘草图上验证该方法，并展示了在跨数据集草图分类和零样本域迁移任务中的零样本迁移能力。

实验结果

研究问题

• RQ1 在合成草图上训练的3D重建模型能否有效泛化到具有多样化风格和畸变的真实手绘草图？
• RQ2 所提出的草图标准化模块在提升不同绘图风格和几何畸变下的重建质量方面有多有效？
• RQ3 显式视图估计是否能提高单视角草图重建3D形状的保真度和规范姿态对齐？
• RQ4 草图标准化模块是否能提升下游任务（如跨数据集草图分类和零样本域迁移）的性能？

主要发现

• 与无标准化的基线相比，草图标准化模块将切比雪夫距离（CD）降低6.5%，将地球移动距离（EMD）降低10.4%，显示出显著的性能提升。
• 消融研究显示，标准化模块中同时包含形变和风格迁移组件时性能最佳，CD = 86.1 × 10⁻⁴，EMD = 16.0 × 10⁻²。
• 在Sketchy数据集上使用草图标准化模块后，跨数据集草图分类准确率从75.1%提升至78.1%，提高了3个百分点。
• 视图估计模块提升了重建保真度，定量结果表明，当该模块被移除时，CD和EMD均有明显下降。
• 该方法通过利用边缘图作为桥梁，实现了从夜间和合成图像到真实白天图像的零样本域迁移，展示了超越重建任务的迁移能力。
• 定性结果表明，完整模型生成的3D重建质量更高，尤其在飞机和台灯等复杂物体上，与真实形状更为接近。