[论文解读] 3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks

Zhaoliang Lun, Matheus Gadelha+3 more|arXiv (Cornell University)|Jul 20, 2017

3D Shape Modeling and Analysis参考文献 52被引用 30

一句话总结

本文提出了一种基于深度学习的3D形状重建方法，通过多视角卷积编码器-解码器网络，从多个视角的2D线条草图中预测深度图和法线图，利用能量最小化将这些预测融合为高分辨率点云，并输出多边形网格。该方法在重建精度、拓扑结构保持和表面分辨率方面优于体素化或基线方法，且在无需微调的情况下能良好泛化至人类绘制的草图。

ABSTRACT

We propose a method for reconstructing 3D shapes from 2D sketches in the form of line drawings. Our method takes as input a single sketch, or multiple sketches, and outputs a dense point cloud representing a 3D reconstruction of the input sketch(es). The point cloud is then converted into a polygon mesh. At the heart of our method lies a deep, encoder-decoder network. The encoder converts the sketch into a compact representation encoding shape information. The decoder converts this representation into depth and normal maps capturing the underlying surface from several output viewpoints. The multi-view maps are then consolidated into a 3D point cloud by solving an optimization problem that fuses depth and normals across all viewpoints. Based on our experiments, compared to other methods, such as volumetric networks, our architecture offers several advantages, including more faithful reconstruction, higher output surface resolution, better preservation of topology and shape structure.

研究动机与目标

• 为解决在艺术设计中常见的稀疏、近似或噪声较多的2D线条草图中重建精确3D形状的挑战。
• 通过基于视角的表面表示方法，克服体素化3D重建方法在分辨率和可扩展性方面的局限性。
• 利用在合成数据上训练的深度学习架构，实现从单视角或多视角草图中高质量的3D重建。
• 使模型能够泛化至缺乏视角间一致性和精确度的人类绘制草图。
• 提供一个稳健的端到端框架，生成适合艺术家进一步优化的3D代理模型。

提出的方法

• 一个深度编码器-解码器卷积神经网络处理输入草图，生成编码形状信息的紧凑潜在表征。
• 解码器从多个虚拟视角预测多视角深度图和表面法线图，实现高分辨率几何监督。
• 通过能量最小化框架，将所有视角的深度图和法线图预测进行融合，重建出密集的3D点云。
• 将点云转换为多边形网格，并可选地进行后处理以优化与输入轮廓的对齐。
• 网络在自动生成的3D形状合成草图上进行训练，无需人工标注的线条草图。
• 训练好的编码器还可生成用于从模型库中进行草图驱动3D形状检索的描述符。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需精确或一致输入的前提下，从单视角或多视角2D线条草图中重建出准确的3D形状？
• RQ2 与体素化表示相比，基于深度图和法线图的视角表示在重建质量与分辨率方面表现如何？
• RQ3 在合成草图上训练的模型在泛化至包含噪声和不一致性的实际人类绘制草图时，其性能表现如何？
• RQ4 多视角几何预测的融合是否能比单视角或体素化方法更好地保持拓扑结构与形状结构？
• RQ5 所提出的方法生成的3D重建结果是否在感知上更接近输入草图，优于基线方法（包括最近邻检索）？

主要发现

• 在合成草图和人类绘制草图上，该方法的Chamfer距离和Hausdorff距离均显著低于对比方法，表明几何精度更高。
• 在角色数据集上，该方法在所有指标上均优于所有基线方法，包括体素交并比、深度图和法线图误差。
• 在人造物体数据集（飞机和椅子）上，该方法在所有评估指标上再次取得最佳性能，且差异具有统计显著性。
• 通过Amazon Mechanical Turk进行的用户研究证实，人类参与者更偏好本方法生成的重建结果，优于所有对比方法，包括最近邻检索。
• 该方法能良好泛化至人类绘制的草图，在输入轮廓近似或不一致的情况下仍能生成连贯的3D形状。
• 网络架构中引入U-Net跳跃连接显著提升了性能，尤其在人造物体上表现突出，凸显了跳跃连接在此任务中的重要性。