[论文解读] Interactive 3D Modeling with a Generative Adversarial Network

Jerry Liu, Fisher Yu+1 more|arXiv (Cornell University)|Jun 16, 2017

Computer Graphics and Visualization Techniques参考文献 28被引用 21

一句话总结

本文提出SNAP，一种新颖的交互式3D建模系统，利用3D生成对抗网络（GAN）将粗糙的用户草图转化为逼真且细节丰富的3D形状。通过将用户提供的体素网格投影到GAN的潜在空间中，系统在形状相似性与真实感之间取得平衡，使新手用户能够通过简单界面迭代优化模型。

ABSTRACT

This paper proposes the idea of using a generative adversarial network (GAN) to assist a novice user in designing real-world shapes with a simple interface. The user edits a voxel grid with a painting interface (like Minecraft). Yet, at any time, he/she can execute a SNAP command, which projects the current voxel grid onto a latent shape manifold with a learned projection operator and then generates a similar, but more realistic, shape using a learned generator network. Then the user can edit the resulting shape and snap again until he/she is satisfied with the result. The main advantage of this approach is that the projection and generation operators assist novice users to create 3D models characteristic of a background distribution of object shapes, but without having to specify all the details. The core new research idea is to use a GAN to support this application. 3D GANs have previously been used for shape generation, interpolation, and completion, but never for interactive modeling. The new challenge for this application is to learn a projection operator that takes an arbitrary 3D voxel model and produces a latent vector on the shape manifold from which a similar and realistic shape can be generated. We develop algorithms for this and other steps of the SNAP processing pipeline and integrate them into a simple modeling tool. Experiments with these algorithms and tool suggest that GANs provide a promising approach to computer-assisted interactive modeling.

研究动机与目标

• 为解决新手用户使用简单直观界面创建逼真3D模型的挑战。
• 通过设计一种投影算子，克服GAN在潜在空间中间区域生成不真实输出的局限，确保输出真实感。
• 将3D-GAN集成到支持迭代编辑与实时优化的交互式建模流程中。
• 证明基于GAN的生成方法可有效用于用户引导、形状保持的3D建模。
• 提供一个包含101种3D物体类别的新数据集，每类至少包含120个方向一致的样本。

提出的方法

• 系统使用在大规模、精心筛选的3D多边形模型数据集上训练的3D-GAN，学习逼真形状的潜在流形。
• 提出一种新颖的投影算子P(x)，将任意3D体素输入x映射到GAN潜在空间中的潜在向量z，同时优化形状相似性与真实感。
• 通过在潜在空间中优化，利用GAN的判别器作为真实感度量，同时借助特征空间进行引导，实现该投影。
• SNAP命令通过G(P(x))生成经过优化的、逼真的形状x′，在保留用户编辑内容的同时提升真实感。
• 后处理步骤包括移除小型体素组件以及基于对称性的反射操作，以提升输出质量。
• 界面支持用户在体素绘画（添加/删除）与SNAP命令之间交替操作，形成迭代式工作流。

实验结果

研究问题

• RQ1 3D-GAN能否有效用于引导交互式3D建模，将粗糙的用户草图转化为逼真形状？
• RQ2 如何设计投影算子，以在用户输入相似性与GAN生成的真实感之间实现平衡？
• RQ3 基于GAN的系统在多大程度上能帮助新手用户以最少的输入创建详细逼真的3D模型？
• RQ4 该系统的失败模式是什么？它们与训练数据局限性或优化权衡有何关联？
• RQ5 在适应用户编辑（如修改比例或特征）时，系统能否保持风格一致性？

主要发现

• SNAP系统成功将粗糙的体素草图转化为既与输入相似又代表真实世界物体类别的逼真3D模型。
• 用户可迭代地编辑并应用SNAP操作，每次SNAP操作均在保留用户意图的同时提升真实感，如椅子、飞机和桌子的编辑序列所示。
• 在NVIDIA Tesla M40 GPU上，SNAP操作的平均耗时为9秒，表明尽管存在当前延迟，系统仍具备可行性。
• 投影算子能有效将输入映射到GAN流形中真实感区域，避免产生不真实输出的中间空间。
• 系统有时会生成不真实形状（如因训练数据有限），或偏离用户意图（如在沙发上无意识添加腿部），凸显真实感与相似性之间的权衡。
• 后处理步骤（如移除小组件、基于对称性的反射）显著提升了输出质量与真实感。