[论文解读] Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models

Lai Zeqiang, Zhu Xizhou+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用 5

一句话总结

本文提出 Mini-DALL·E 3，一种基于提示的框架，通过将大型语言模型（LLMs）与现成的文本到图像扩散模型相结合，实现无需微调的交互式文本到图像（iT2I）生成。通过自然语言对话，用户可借助多轮交互迭代优化图像，实现高质量、上下文感知的图像生成，同时保留 LLM 在推理和问答任务中的核心能力。

ABSTRACT

The revolution of artificial intelligence content generation has been rapidly accelerated with the booming text-to-image (T2I) diffusion models. Within just two years of development, it was unprecedentedly of high-quality, diversity, and creativity that the state-of-the-art models could generate. However, a prevalent limitation persists in the effective communication with these popular T2I models, such as Stable Diffusion, using natural language descriptions. This typically makes an engaging image hard to obtain without expertise in prompt engineering with complex word compositions, magic tags, and annotations. Inspired by the recently released DALLE3 - a T2I model directly built-in ChatGPT that talks human language, we revisit the existing T2I systems endeavoring to align human intent and introduce a new task - interactive text to image (iT2I), where people can interact with LLM for interleaved high-quality image generation/edit/refinement and question answering with stronger images and text correspondences using natural language. In addressing the iT2I problem, we present a simple approach that augments LLMs for iT2I with prompting techniques and off-the-shelf T2I models. We evaluate our approach for iT2I in a variety of common-used scenarios under different LLMs, e.g., ChatGPT, LLAMA, Baichuan, and InternLM. We demonstrate that our approach could be a convenient and low-cost way to introduce the iT2I ability for any existing LLMs and any text-to-image models without any training while bringing little degradation on LLMs' inherent capabilities in, e.g., question answering and code generation. We hope this work could draw broader attention and provide inspiration for boosting user experience in human-machine interactions alongside the image quality of the next-generation T2I systems.

研究动机与目标

• 解决现有文本到图像模型用户友好性差的问题，这些模型需要专家级提示工程才能生成高质量输出。
• 克服自然语言理解能力不足以及提示配置复杂性带来的障碍，使非专家用户能更有效地生成期望图像。
• 提出一项新任务——交互式文本到图像（iT2I），用户通过与 LLM 驱动的智能体进行多轮对话，使用自然语言逐步生成、编辑和优化图像。
• 实现低成本、无需训练的 iT2I 功能集成，适用于任何现有的 LLM 与文本到图像模型组合。
• 在增加图像生成与编辑功能的同时，保留 LLM 的固有能力，如问答和代码生成。

提出的方法

• 使用 few-shot 提示和思维链提示，引导 LLM 为基于扩散的 T2I 模型生成合适的文本提示。
• 在多轮对话设置中，将现成的 T2I 模型（如 Stable Diffusion）与 LLM 集成，以支持图像生成、编辑与优化。
• 保持对话上下文，确保多轮图像编辑中的一致性，例如保留角色身份或场景元素。
• 设计一个提示管道，将自然语言指令（如“让狗变大”或“不要做成贴纸”）映射为与 T2I 模型兼容的结构化提示。
• 在多种 LLM 上评估该框架，包括 GPT-3.5、GPT-4、Claude 3、LLAMA2、Baichuan2、Qwen 和 InternLM，以评估其泛化能力与鲁棒性。
• 采用零样本评估设置，不进行模型微调，仅依赖提示工程实现 iT2I 功能。

Figure 2 : The evolution of image generation systems.

实验结果

研究问题

• RQ1 提示技术是否能实现现有 LLM 在无需微调的情况下支持交互式、多轮文本到图像生成？
• RQ2 不同 LLM（商业与开源）在通过自然语言交互生成上下文准确且高质量图像提示方面的表现如何？
• RQ3 所提出的基于提示的方法在多大程度上保留了 LLM 在问答和代码生成等任务中的原始能力？
• RQ4 系统能否在对话中多轮编辑中保持视觉一致性，例如保留角色身份或场景结构？
• RQ5 与商业模型相比，开源 LLM 在处理 iT2I 任务时存在哪些局限性？

主要发现

• 商业 LLM 如 GPT-3.5、GPT-4 和 Claude 3 成功生成了合适的图像提示并实现了交错响应，通过提示技术展现出稳健的 iT2I 能力。
• 在开源 LLM 中，Baichuan2-13B-Chat 表现最佳，而 Qwen 和 InternLM 尽管收到提示，仍常拒绝生成图像。
• ChatGLM2-6B-Chat 虽能生成图像，但未能保持正确的图文对应关系，表明提示对齐存在问题。
• 基于提示的方法实现了无需微调的零样本集成，使任何 LLM 与 T2I 模型组合均可支持 iT2I 功能。
• 该方法在保持 LLM 核心能力方面表现良好，问答与代码生成能力仅出现轻微退化。
• 在 MMLU 上的评估显示，提示方法未显著影响 LLM 性能，平均得分分别为 59.34（few-shot）和 56.37（zero-shot），表明推理能力得到良好保留。

Figure 3 : Illustrations of different human-machine interfaces for T2I systems.