[论文解读] FABRIC: Personalizing Diffusion Models with Iterative Feedback

Dimitri von Rütte, Elisabetta Fedele+2 more|arXiv (Cornell University)|Jul 19, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

FABRIC 是一种无需训练的方法，通过在参考图像上基于注意力机制的条件控制，迭代地整合用户反馈，从而增强文生图扩散模型。它在多轮反馈中提升了生成质量和与用户偏好的对齐度，甚至优于经过微调的模型（如 HPS LoRA），且无需重新训练。

ABSTRACT

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.

研究动机与目标

• 为解决超越提示工程的文生图扩散模型个性化挑战，通过整合迭代人类反馈。
• 开发一种方法，在无需模型微调的情况下增强用户对图像生成的控制力和输出质量。
• 建立一个稳健的评估框架，用于衡量多轮反馈中性能的提升。
• 探索在反馈驱动生成中探索与利用之间的权衡。
• 实现与现有扩散模型扩展（如 LoRA 和检查点）的正交集成。

提出的方法

• FABRIC 使用基于注意力的参考图像条件控制，利用先前生成结果中的正向和负向反馈图像来引导扩散过程。
• 它修改了扩散模型中的自注意力机制，使其关注反馈图像，从而有效基于用户偏好进行生成条件化。
• 该方法无需任何模型重新训练，因此可与大量预训练扩散模型兼容。
• 反馈以迭代方式收集，用户通过选择偏好的或不喜欢的输出来指导后续生成。
• 该方法支持自动评估协议，并可与外部图像语料库集成以检索反馈。
• 它支持对反馈参数进行贝叶斯优化，以进一步优化生成结果。

Figure 2: Illustration of the proposed approach. FABRIC improves generated results by incorporating user feedback through an attention-based conditioning mechanism.

实验结果

研究问题

• RQ1 在不重新训练的情况下，迭代人类反馈能否提升扩散模型中文生图生成的质量和对齐度？
• RQ2 通过注意力机制进行的基于反馈的条件控制，如何影响生成图像的多样性与分布？
• RQ3 FABRIC 在基于偏好的生成中，能在多大程度上超越如 HPS LoRA 这类专门微调的模型？
• RQ4 在反馈驱动的图像生成中，探索与利用之间存在何种权衡？
• RQ5 如何有效将反馈与现有的扩散模型扩展（如 LoRA 或检查点）集成？

主要发现

• FABRIC 在多轮反馈中显著提升了图像生成质量和用户偏好对齐度，且无需任何训练或超参数调优。
• 在相关评估指标上，该方法优于 HPS LoRA——一种专为人类偏好微调的模型。
• 反馈实现了对任意用户目标的隐式优化，例如与目标图像的相似性或对特定风格的偏好。
• 尽管有所改进，FABRIC 仍倾向于将生成分布坍塌为靠近反馈图像的单一模式，表明在利用与多样性之间存在权衡。
• 该方法与现有方法（如 LoRA 和检查点）正交，结合使用时可实现累加性改进。
• 探索了提示 dropout 作为缓解多样性坍塌的潜在对策，但可能改变提示的语义内容。

(a) Highest PickScore of a generated image over all previous rounds.