[论文解读] Learning Implicit Fields for Generative Shape Modeling

Zhiqin Chen, Hao Zhang|arXiv (Cornell University)|Dec 6, 2018

3D Shape Modeling and Analysis参考文献 51被引用 60

一句话总结

介绍 IM-NET，一种用于3D形状的隐式场解码器，通过预测点相对于形状的内外状态，提升自编码、生成、插值以及单视图重建中的视觉质量。

ABSTRACT

We advocate the use of implicit fields for learning generative models of shapes and introduce an implicit field decoder, called IM-NET, for shape generation, aimed at improving the visual quality of the generated shapes. An implicit field assigns a value to each point in 3D space, so that a shape can be extracted as an iso-surface. IM-NET is trained to perform this assignment by means of a binary classifier. Specifically, it takes a point coordinate, along with a feature vector encoding a shape, and outputs a value which indicates whether the point is outside the shape or not. By replacing conventional decoders by our implicit decoder for representation learning (via IM-AE) and shape generation (via IM-GAN), we demonstrate superior results for tasks such as generative shape modeling, interpolation, and single-view 3D reconstruction, particularly in terms of visual quality. Code and supplementary material are available at https://github.com/czq142857/implicit-decoder.

研究动机与目标

• 以隐式场作为生成性3D形状的更优表示来激发研究，相较于基于体素的解码器。
• 开发一个简单的隐式场解码器（IM-NET），给定形状特征后预测空间点的内外状态。
• 在自编码器、GANs和SVR流程中展示IM-NET，以提升表面质量和拓扑处理。
• 展示隐式场能够实现高分辨率采样和超越训练分辨率的更平滑插值。

提出的方法

• 定义一个隐式场 F(p)，基于相对于形状的内外状态对空间中的点赋予0/1。
• 用一个MLP fθ参数化F，该网络接收一个三维点p和一个形状特征向量，作为二元分类器训练，使用带权重的均方误差损失。
• 对体素化形状进行渐进式训练（16^3 → 128^3），并在靠近表面的区域密集采样点，使用密度感知的权重 w_p。
• 通过用隐式解码器替代传统解码器，将IM-NET嵌入到IM-AE和IM-GAN中，形成IM-AE和IM-GAN。
• 将IM-NET应用于2D/3D形状生成、自编码、插值和单视图3D重建，网格通过Marching Cubes获得。

实验结果

研究问题

• RQ1 相比于基于体素的解码器，在3D形状任务中，隐式场解码器是否能提供更优的表面质量和拓扑处理？
• RQ2 在IM-NET中将点坐标与形状特征结合对内外状态学习和边界质量有何影响？
• RQ3 IM-AE和IM-GAN是否在多类别上改进自编码、生成、插值和单视图重建？
• RQ4 使用IM-NET相较于基于CNN的解码器，在训练时间和采样分辨率方面的权衡是什么？
• RQ5 IM-NET能否有效扩展到2D形状和具高质量表面的SVR？

主要发现

• IM-NET比基于CNN的解码器产生更高的视觉质量表面和更清晰的边界定义。
• 隐式场允许在任意分辨率下采样，生成超出训练分辨率的更清晰网格。
• IM-GAN和IM-AE在形状生成和插值方面超越基线，拓扑变化更平滑。
• 在3D和2D域中，IM-GAN/IM-AE在可比或更优的视觉指标和定性结果，尤其在表面质量方面。
• 使用IM-SVR的单视图重建在与最先进SVR方法的比较中表现具有竞争力，表面保真度更好。