[论文解读] Generative Occupancy Fields for 3D Surface-Aware Image Synthesis

Xudong Xu, Xingang Pan+2 more|arXiv (Cornell University)|Nov 1, 2021

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本文提出生成占用场（Generative Occupancy Fields, GOF），一种新颖的生成式辐射场模型，通过占用表示将辐射场中的体积分块渲染转换为仅表面渲染，从而实现紧凑、清晰的3D物体表面。通过在训练过程中逐步缩小采样区域，并将alpha值重新解释为占用值，GOF在实现高质量、平滑表面的同时，实现了SOTA级别的3D一致图像生成。

ABSTRACT

The advent of generative radiance fields has significantly promoted the development of 3D-aware image synthesis. The cumulative rendering process in radiance fields makes training these generative models much easier since gradients are distributed over the entire volume, but leads to diffused object surfaces. In the meantime, compared to radiance fields occupancy representations could inherently ensure deterministic surfaces. However, if we directly apply occupancy representations to generative models, during training they will only receive sparse gradients located on object surfaces and eventually suffer from the convergence problem. In this paper, we propose Generative Occupancy Fields (GOF), a novel model based on generative radiance fields that can learn compact object surfaces without impeding its training convergence. The key insight of GOF is a dedicated transition from the cumulative rendering in radiance fields to rendering with only the surface points as the learned surface gets more and more accurate. In this way, GOF combines the merits of two representations in a unified framework. In practice, the training-time transition of start from radiance fields and march to occupancy representations is achieved in GOF by gradually shrinking the sampling region in its rendering process from the entire volume to a minimal neighboring region around the surface. Through comprehensive experiments on multiple datasets, we demonstrate that GOF can synthesize high-quality images with 3D consistency and simultaneously learn compact and smooth object surfaces. Code, models, and demo videos are available at https://sheldontsui.github.io/projects/GOF

研究动机与目标

• 解决生成式辐射场（GRAFs）因体积分块渲染而导致物体表面模糊、不紧凑的局限性。
• 克服直接基于占用的生成模型因表面梯度稀疏而导致的训练不稳定问题。
• 在单一框架中统一辐射场（梯度分布带来的稳定训练）与占用网络（表面紧凑性）的优势。
• 实现高保真度的3D一致图像生成，具备精确的表面几何结构，适用于重光照和形状编辑等下游任务。

提出的方法

• 在训练过程中实现从累积体积分块渲染（辐射场）到仅表面渲染（占用场）的渐进式过渡，逐步将采样区域从整个体积缩小至预测表面附近的最小邻域。
• 将体积分块渲染中的alpha值重新解释为占用值，从而通过隐式神经决策边界实现表面定位。
• 采用可微分渲染过程，从全体积采样开始，随着训练推进逐步将采样限制在表面邻近区域。
• 采用带有FiLM的SIREN神经网络主干，统一在单一生成器架构中建模辐射场与占用场。
• 引入透明度与表面法线的正则化项以稳定训练并提升表面质量，尤其在真实世界设置中表现更优。
• 在推理阶段同时支持体积分块与仅表面渲染模式，实现更少采样次数下的高效渲染。

实验结果

研究问题

• RQ1 生成式模型能否结合辐射场的训练稳定性与占用网络的表面紧凑性？
• RQ2 在训练过程中，如何以可微分且稳定的方式实现从体积分块渲染到仅表面渲染的过渡？
• RQ3 将alpha值重新解释为占用值，是否能实现精确的表面定位与紧凑的表面学习？
• RQ4 缩小采样区域的策略是否能提升在真实世界与合成数据集上的表面锐度与泛化能力？
• RQ5 所提方法能否在高保真度法线图支持下，实现GAN反演、自由视角合成与重光照等下游任务？

主要发现

• GOF在合成数据集（BFM）与真实世界数据集（CelebA, FFHQ）上均实现了3D一致图像生成的SOTA性能，其表面比pi-GAN更清晰、更紧凑。
• 消融研究显示，若移除透明度或法线正则化，将导致面部出现类似烟雾的噪声与形状出现空洞，但GOF仍优于基线模型。
• 若无缩小采样区域过程，GOF会产生噪声法线图与凹陷的3D形状，证明该过渡机制对实现表面紧凑性至关重要。
• GAN反演结果表明，GOF能够重建真实图像，恢复3D形状与法线图，支持自由视角合成与下游编辑。
• 重光照实验表明，GOF在不同光照条件下生成的图像比pi-GAN更逼真，后者存在棋盘状伪影与噪声法线问题。
• 推理阶段采用仅表面渲染可减轻采样负担，并在结合缩小采样策略时保持高图像质量。