[论文解读] Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network

Chiyu Max Jiang, Philip Marcus|arXiv (Cornell University)|Sep 22, 2017

3D Shape Modeling and Analysis参考文献 11被引用 9

一句话总结

本文提出了一种分层3D生成对抗网络（3D-GAN），通过符号距离函数（SDF）表示法生成高质量、细节丰富的基于网格的三维形状。通过使用两个专用生成器分离低频与高频分量，该方法生成了表面平滑、视觉效果出色的网格，并增强了细微细节，其几何质量与语义可控性优于基于体素和点云的方法。

ABSTRACT

Automatic mesh-based shape generation is of great interest across a wide range of disciplines, from industrial design to gaming, computer graphics and various other forms of digital art. While most traditional methods focus on primitive based model generation, advances in deep learning made it possible to learn 3-dimensional geometric shape representations in an end-to-end manner. However, most current deep learning based frameworks focus on the representation and generation of voxel and point-cloud based shapes, making it not directly applicable to design and graphics communities. This study addresses the needs for automatic generation of mesh-based geometries, and propose a novel framework that utilizes signed distance function representation that generates detail preserving three-dimensional surface mesh by a deep learning based approach.

研究动机与目标

• 解决深度学习中高质量、基于网格的三维形状生成方法的不足，特别是在计算机图形学与设计应用中的需求。
• 克服现有体素与点云表示方法的局限性，后者常产生低分辨率、噪声大或非流形的输出，难以适用于CG工作流程。
• 通过潜在空间操作实现概念上新颖、平滑且细节丰富的三维网格形状生成，具备语义控制能力。
• 构建一种分层框架，通过分离频率分量，提升细节保真度与表面质量，超越标准GAN-based三维生成方法。

提出的方法

• 在三维网格上使用符号距离函数（SDF）表示三维形状，通过移动立方体算法实现平滑表面提取。
• 采用双流生成对抗网络架构：低频生成器（LFG）与高频生成器（HFG），分别训练以生成SDF场的不同频率带。
• 在类似U-Net的编码器-解码器结构中使用3D转置卷积（反卷积）在64³分辨率下生成SDF场。
• 通过频域滤波分离低频与高频分量：LFG输出频率模态[-8,8]，HFG增强模态[-32,-9] ∪ [9,31]。
• 通过组合LFG的低频输出与HFG的高频优化结果重建最终SDF，实现在频域的超分辨率。
• 应用后处理（移动立方体、拉普拉斯平滑、UV展开、纹理映射）以生成可渲染的高质量多边形网格。

实验结果

研究问题

• RQ1 与标准体素-based GAN相比，分层GAN架构是否能提升基于网格的三维形状生成的视觉质量与几何保真度？
• RQ2 在SDF表示中分离低频与高频分量，是否能实现更好的细节保留与更锐利的特征表现？
• RQ3 所提方法能否生成训练数据中不存在的概念上新颖的形状，同时保持平滑、流形的网格表面？
• RQ4 该模型的潜在空间在多大程度上支持有意义的语义操作，如形状插值与算术运算？
• RQ5 与体素占据网格相比，使用SDF是否能生成更真实、可渲染的三维网格，更适合计算机图形学工作流程？

主要发现

• 所提出的分层GAN框架在视觉质量与表面平滑度方面显著优于基线体素-based GAN，生成了更高质量的三维网格形状。
• 高频生成器（HFG）成功增强了细微细节，生成了低频输出中缺失的锐利局部特征。
• LFG与HFG的结合使最终SDF场在有意义的频率带中实现了高于物理网格分辨率的有效分辨率。
• 通过潜在空间中的线性插值可实现连续的形状变形，展示了语义一致性与有意义的形状过渡。
• 经后处理的网格在生成的SDF基础上具备下游CG工作流的适用性，如使用Blender进行UV映射与纹理应用的高质量渲染结果所示。
• 该框架在生成视觉吸引力强、高分辨率且概念上新颖的三维形状方面优于先前工作，且并非对训练样本的简单重组。