[论文解读] CustomNet: Zero-shot Object Customization with Variable-Viewpoints in Text-to-Image Diffusion Models

Ziyang Yuan, Mingdeng Cao+4 more|arXiv (Cornell University)|Oct 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

CustomNet 提出了一种用于文本到图像扩散模型的零样本物体定制方法，该方法利用 3D 新视角合成技术，实现对物体视角、位置和背景的显式控制，从而在无需推理时优化的情况下，生成多样化且和谐的输出，并保持强身份一致性。该方法结合了视角条件生成、输入拼接以保留纹理，以及双交叉注意力机制以实现解耦的前景-背景控制。

ABSTRACT

Incorporating a customized object into image generation presents an attractive feature in text-to-image generation. However, existing optimization-based and encoder-based methods are hindered by drawbacks such as time-consuming optimization, insufficient identity preservation, and a prevalent copy-pasting effect. To overcome these limitations, we introduce CustomNet, a novel object customization approach that explicitly incorporates 3D novel view synthesis capabilities into the object customization process. This integration facilitates the adjustment of spatial position relationships and viewpoints, yielding diverse outputs while effectively preserving object identity. Moreover, we introduce delicate designs to enable location control and flexible background control through textual descriptions or specific user-defined images, overcoming the limitations of existing 3D novel view synthesis methods. We further leverage a dataset construction pipeline that can better handle real-world objects and complex backgrounds. Equipped with these designs, our method facilitates zero-shot object customization without test-time optimization, offering simultaneous control over the viewpoints, location, and background. As a result, our CustomNet ensures enhanced identity preservation and generates diverse, harmonious outputs.

研究动机与目标

• 解决现有基于优化和基于编码器的定制方法的局限性，包括推理速度慢、身份保持能力差以及复制粘贴伪影问题。
• 克服当前 3D 新视角合成方法在应用于物体定制时缺乏视角多样性与空间控制的问题。
• 通过文本或图像条件，实现对物体视角、空间位置和背景的同步控制。
• 开发一种数据构建流程，有效将真实世界物体与复杂背景整合到训练过程中。
• 通过利用预训练的 3D 视角合成能力，实现无需推理时优化的零样本定制。

提出的方法

• 受 Zero-1-to-3 启发，将 3D 新视角合成集成到物体定制流程中，采用视角条件扩散建模。
• 通过相机位姿参数 $[R, T]$ 实现显式视角控制，从单张参考图像生成多样化的物体视角。
• 通过将变换后的参考物体图像直接拼接到 UNet 输入中，实现位置控制。
• 引入双交叉注意力模块，解耦前景与背景控制，实现对文本提示或用户提供的背景图像的独立条件控制。
• 利用结合合成多视角数据（Objaverse）与自然图像（OpenImages）的定制数据构建流程，以提升真实感与泛化能力。
• 使用预训练的 Zero-1-to-3 权重初始化 CustomNet，从一开始就保持视角一致性与身份特征。

实验结果

研究问题

• RQ1 在 3D 感知的扩散模型中，显式视角控制是否能提升零样本物体定制中的多样性与身份保持能力？
• RQ2 参考物体图像的输入拼接在生成图像中对纹理与身份保持有何影响？
• RQ3 双交叉注意力在多大程度上能实现前景与背景的解耦控制，同时保持视角一致性？
• RQ4 与简单数据组合相比，所提出的数据构建流程在处理真实世界物体与复杂背景方面的有效性如何？
• RQ5 该方法是否能在无需推理时优化或微调的情况下，实现高质量且和谐的输出？

主要发现

• CustomNet 实现了多样化、视角可变的输出，具有强身份保持能力，避免了先前基于编码器方法中常见的复制粘贴效应。
• 显式视角控制与参考图像拼接的结合，显著提升了纹理与形状保真度，相较于缺少这些组件的模型表现更优。
• 双交叉注意力实现了有效的解耦控制：同一物体视角可在不同文本背景描述下保持一致，且用户提供的背景能无缝融合。
• 数据构建流程通过结合多视角物体数据与多样化自然背景，有效减少了‘漂浮’伪影，提升了真实感。
• CustomNet 在视角一致性和身份保持方面优于基线模型，尤其在使用预训练 3D 视角合成模型（Zero-1-to-3）初始化时表现更优。
• 若缺乏显式视角控制，即使在多视角数据上进行训练，模型仍会退化为复制粘贴行为，凸显了姿态条件控制的必要性。