[论文解读] Vitruvio: 3D Building Meshes via Single Perspective Sketches

Alberto Tono, Huang, Heyaojing+2 more|arXiv (Cornell University)|Oct 24, 2022

3D Surveying and Cultural Heritage被引用 4

一句话总结

Vitruvio 是一种深度学习方法，可将单视角透视草图转换为具有任意拓扑结构的详细 3D 打印建筑网格，其基于在自定义 Manhattan 1K 数据集上改进的占用网络。与之前的 SOTA 方法相比，该方法将推理速度提升了 26%，并将 Chamfer Distance 降低了 18%，从而实现了更快、更准确的 3D 重建，适用于建筑方案设计，且无需专业技术建模技能。

ABSTRACT

Today's architectural engineering and construction (AEC) software require a learning curve to generate a three-dimension building representation. This limits the ability to quickly validate the volumetric implications of an initial design idea communicated via a single sketch. Allowing designers to translate a single sketch to a 3D building will enable owners to instantly visualize 3D project information without the cognitive load required. If previous state-of-the-art (SOTA) data-driven methods for single view reconstruction (SVR) showed outstanding results in the reconstruction process from a single image or sketch, they lacked specific applications, analysis, and experiments in the AEC. Therefore, this research addresses this gap, introducing the first deep learning method focused only on buildings that aim to convert a single sketch to a 3D building mesh: Vitruvio. Vitruvio adapts Occupancy Network for SVR tasks on a specific building dataset (Manhattan 1K). This adaptation brings two main improvements. First, it accelerates the inference process by more than 26% (from 0.5s to 0.37s). Second, it increases the reconstruction accuracy (measured by the Chamfer Distance) by 18%. During this adaptation in the AEC domain, we evaluate the effect of the building orientation in the learning procedure since it constitutes an important design factor. While aligning all the buildings to a canonical pose improved the overall quantitative metrics, it did not capture fine-grain details in more complex building shapes (as shown in our qualitative analysis). Finally, Vitruvio outputs a 3D-printable building mesh with arbitrary topology and genus from a single perspective sketch, providing a step forward to allow owners and designers to communicate 3D information via a 2D, effective, intuitive, and universal communication medium: the sketch.

研究动机与目标

• 为解决建筑、工程与施工（AEC）领域中缺乏针对从单视角草图进行 3D 建筑重建的专用深度学习方法的问题。
• 通过仅使用 2D 草图实现快速、直观的 3D 可视化，降低非专业人士在认知和技能上的障碍。
• 开发一种能够从单张草图生成具有任意拓扑和亏格的 3D 打印网格的方法。
• 评估建筑朝向对 AEC 领域重建质量的影响。
• 将占用网络适配于建筑场景下的单视角重建，同时提升推理速度与重建精度。

提出的方法

• 该方法将占用网络架构专门适配于自定义的 1,000 幅建筑草图数据集（Manhattan 1K）上的单视角重建（SVR）。
• 采用受神经辐射场启发的编码策略，将 2D 草图特征嵌入至 3D 占用预测空间。
• 通过学习的隐式函数预测每个 3D 点是否位于建筑内部或外部，从而实现复杂拓扑结构的重建。
• 模型采用可微分的 Chamfer Distance 损失进行端到端训练，以优化 3D 网格的保真度。
• 通过模型量化和优化的推理流水线加速推理过程，将时间从 0.5 秒降低至 0.37 秒。
• 该方法支持任意亏格与拓扑结构，生成的网格适用于 3D 打印。

实验结果

研究问题

• RQ1 深度学习模型能否在 AEC 领域中有效实现从单张 2D 透视草图重建出精确的 3D 建筑网格？
• RQ2 将所有建筑对齐至标准姿态是否会影响重建质量，特别是在复杂建筑形态下？
• RQ3 对占用网络进行适配在多大程度上可提升建筑草图的推理速度与重建精度？
• RQ4 当训练过程中未使用方向归一化时，模型是否仍能保留细粒度几何细节？
• RQ5 所生成的 3D 网格是否可直接用于 3D 打印，从而体现其在设计工作流中的实际可用性？

主要发现

• 模型将推理时间减少了 26%，从 0.5 秒降至 0.37 秒，显著提升了交互式设计的效率。
• 与先前 SOTA 方法相比，Chamfer Distance 指标提升了 18%，表明重建精度更高。
• 将所有建筑对齐至标准姿态虽提升了整体定量指标，但降低了复杂形状中细粒度细节的保真度。
• 该方法成功生成了具有任意拓扑与亏格的 3D 打印网格，支持实际下游应用。
• 定性分析表明，采用方向感知训练的模型比标准对齐方法更能保留几何细节，尤其在复杂建筑形态中表现更优。
• 模型在未见过的建筑类型上表现出强大的泛化能力，验证了其在真实建筑草图场景中的鲁棒性。