[论文解读] ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion

Jiayu Yang, Ziang Cheng+3 more|arXiv (Cornell University)|Oct 16, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

ConsistNet 是一种用于潜在扩散模型的即插即用模块，通过轻量级的一致性模块利用多视角几何原理，在多视角图像生成中实现 3D 一致性。它将冻结模型（如 Zero123）的生成能力提升，仅用单张 A100 GPU 在 40 秒内生成 16 张一致的视角图像，显著提升了 3D 一致性，且无需深度监督或显式对应关系。

ABSTRACT

Given a single image of a 3D object, this paper proposes a novel method (named ConsistNet) that is able to generate multiple images of the same object, as if seen they are captured from different viewpoints, while the 3D (multi-view) consistencies among those multiple generated images are effectively exploited. Central to our method is a multi-view consistency block which enables information exchange across multiple single-view diffusion processes based on the underlying multi-view geometry principles. ConsistNet is an extension to the standard latent diffusion model, and consists of two sub-modules: (a) a view aggregation module that unprojects multi-view features into global 3D volumes and infer consistency, and (b) a ray aggregation module that samples and aggregate 3D consistent features back to each view to enforce consistency. Our approach departs from previous methods in multi-view image generation, in that it can be easily dropped-in pre-trained LDMs without requiring explicit pixel correspondences or depth prediction. Experiments show that our method effectively learns 3D consistency over a frozen Zero123 backbone and can generate 16 surrounding views of the object within 40 seconds on a single A100 GPU. Our code will be made available on https://github.com/JiayuYANG/ConsistNet

研究动机与目标

• 解决使用扩散模型从单张参考图像进行多视角图像生成时缺乏 3D 一致性的挑战。
• 实现在无需显式深度预测或像素对应标注的情况下进行多视角生成。
• 通过轻量级、可训练的即插即用模块，提升预训练潜在扩散模型（如 Zero123）的 3D 一致性。
• 在强制多视角间几何一致性的同时，保持高生成质量和效率。
• 实现适用于 VR/AR 和 3D 资产创建的快速、高保真 3D 感知图像生成。

提出的方法

• 提出一种多视角一致性模块，基于底层多视角几何原理实现跨视角特征交换。
• 采用视角聚合模块，将多视角特征反投影至全局 3D 体积中，以推断 3D 一致性。
• 使用射线聚合模块，对 3D 一致特征进行采样并聚合回各视角，以实现一致性约束。
• 将 ConsistNet 模块插入预训练去噪 U-Net 的每一解码器层，仅微调该模块。
• 利用冻结的基础模型（如 Zero123），并结合 CLIP 和相机嵌入实现视角条件生成。
• 通过残差特征图添加至解码器层来强制一致性，确保各视角间几何一致性。

实验结果

研究问题

• RQ1 即插即用模块能否在不修改基础扩散模型的前提下，有效强制多视角图像生成的 3D 一致性？
• RQ2 轻量级、几何感知的模块在冻结的扩散模型（如 Zero123）中能否显著提升一致性？
• RQ3 该方法能否在无显式监督的情况下泛化至未见物体和复杂几何结构？
• RQ4 在多视角扩散生成中，一致性、速度与质量之间的权衡如何？
• RQ5 该方法能否在无需深度监督或像素级对应关系的情况下实现高一致性？

主要发现

• ConsistNet 在所有仰角（0°、15°、30°）下均显著提升基础 Zero123 模型的 3D 一致性，LPIPS、SSIM 和 PSNR 指标均获得一致提升。
• 在 Google Scanned Objects 数据集上，ConsistNet 在 0° 和 15° 仰角下优于 Zero123 和 Syncdreamer，30° 仰角下性能相当。
• 该方法仅用单张 A100 GPU 在 40 秒内即可生成 16 张高质量、一致的多视角图像，展现出强大的效率。
• 定性结果表明，几何保真度和颜色一致性显著提升，尤其在具有复杂形状和纹理的物体上表现更优。
• 模型在未见数据上泛化良好，尽管单图 3D 重建存在固有歧义，仍能生成多样且一致的多视角输出。
• 即插即用设计使其可无缝集成至现有扩散模型，同时保持基础模型能力并增加 3D 一致性。