[论文解读] 3D-aware Image Generation using 2D Diffusion Models

Jianfeng Xiang, Jiaolong Yang+2 more|arXiv (Cornell University)|Mar 31, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种新颖的3D感知图像生成方法，通过将多视角图像生成建模为顺序的无条件-条件采样过程，利用2D扩散模型实现。该方法在ImageNet上实现了最先进性能，能够从未对齐的、真实场景的图像中生成高保真度、360°一致的多视角图像，利用单目深度估计和数据增强技术。

ABSTRACT

In this paper, we introduce a novel 3D-aware image generation method that leverages 2D diffusion models. We formulate the 3D-aware image generation task as multiview 2D image set generation, and further to a sequential unconditional-conditional multiview image generation process. This allows us to utilize 2D diffusion models to boost the generative modeling power of the method. Additionally, we incorporate depth information from monocular depth estimators to construct the training data for the conditional diffusion model using only still images. We train our method on a large-scale dataset, i.e., ImageNet, which is not addressed by previous methods. It produces high-quality images that significantly outperform prior methods. Furthermore, our approach showcases its capability to generate instances with large view angles, even though the training images are diverse and unaligned, gathered from "in-the-wild" real-world environments.

研究动机与目标

• 为了利用强大的2D扩散模型实现3D感知图像生成，而这些模型此前未被有效应用于3D生成任务。
• 为了解决从无结构的、真实场景的2D数据集中生成一致多视角图像的挑战，且无需3D监督信号。
• 通过利用单目深度估计，从静态图像中合成多视角监督信号，以克服多视角训练数据不足的问题。
• 通过数据增强策略减少训练与推理之间的领域差距，从而在大视角角度（最高达360°）下提升生成质量。
• 展示在大规模、多样化数据集（如ImageNet）上实现3D感知生成的可行性与有效性，而此前的方法尚未解决该问题。

提出的方法

• 该方法将3D感知图像生成建模为顺序的多视角图像生成过程：首先无条件采样初始视角，然后迭代地基于先前生成的视角生成后续视角。
• 利用概率的链式法则对多视角的联合分布进行分解，从而支持可变长度输出并实现高效的自回归生成。
• 对单张图像应用单目深度估计以生成深度图，随后利用这些深度图合成多个视角投影用于训练。
• 训练一个条件扩散模型，基于先前生成的视角及其对应的深度图来生成后续视角，从而在各视角间保持一致的3D几何结构。
• 引入数据增强策略——特别是模糊和纹理侵蚀增强——以减少领域差距并提升泛化能力，尤其在大视角角度生成任务中表现更优。
• 对于高分辨率生成，微调一个预训练的128²扩散超分辨率模型，将128²的输出上采样至256²分辨率。

实验结果

研究问题

• RQ1 2D扩散模型能否在无需显式3D监督或NeRF表示的情况下，被有效适配用于3D感知图像生成？
• RQ2 如何利用扩散模型将多视角图像生成建模为顺序的条件生成过程？
• RQ3 能否利用单目深度估计，从未对齐的真实场景2D图像中合成足够的多视角训练数据，以支持3D感知生成？
• RQ4 哪些数据增强策略在减少领域差距并提升大视角角度生成性能方面最为有效？
• RQ5 该方法能否在大规模、多样化数据集（如ImageNet）上实现最先进性能，而这是以往基于3D感知GAN的方法尚未解决的问题？

主要发现

• 该方法在ImageNet上的Fréchet Inception Distance (FID) 达到9.45，显著优于先前最先进3D感知GAN方法，如EG3D (FID 40.4) 和 pi-GAN (FID 138)。
• 在SDIP Dog数据集上，该方法在17°偏航范围内的9个视角下FID为18.1，优于无纹理侵蚀（20.9）或模糊（22.2）增强的消融变体。
• 该方法能够从未对齐的训练数据中成功生成一致的360°视角序列，展示了对多样化且无结构输入的强大鲁棒性。
• 基于融合的视角合成方法实现了16 fps的推理速度，并在ImageNet上保持低FID（14.1），表明其在任意视角生成任务中的实际适用性。
• 高分辨率生成流程通过微调的扩散超分辨率模型，成功将128²输出上采样至256²分辨率，同时保持了图像质量和3D一致性。
• 消融研究证实，纹理侵蚀和模糊增强在减少伪影并提升大视角角度合成性能方面至关重要。