[论文解读] GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing

Zhenyu Wang, Aoxue Li+2 more|arXiv (Cornell University)|Jul 8, 2024

Semantic Web and Ontologies被引用 4

一句话总结

GenArtist 提出了一种由多模态大语言模型（MLLM）智能体驱动的统一图像生成与编辑系统，该智能体能够分解复杂提示，通过树状结构的执行流程规划操作，并从工具库中动态选择工具以生成图像并实现自我修正。该系统在基准任务上实现了最先进性能，通过整合规划、验证与位置感知的工具执行，超越了 SDXL 和 DALL-E 3 等模型。

ABSTRACT

Despite the success achieved by existing image generation and editing methods, current models still struggle with complex problems including intricate text prompts, and the absence of verification and self-correction mechanisms makes the generated images unreliable. Meanwhile, a single model tends to specialize in particular tasks and possess the corresponding capabilities, making it inadequate for fulfilling all user requirements. We propose GenArtist, a unified image generation and editing system, coordinated by a multimodal large language model (MLLM) agent. We integrate a comprehensive range of existing models into the tool library and utilize the agent for tool selection and execution. For a complex problem, the MLLM agent decomposes it into simpler sub-problems and constructs a tree structure to systematically plan the procedure of generation, editing, and self-correction with step-by-step verification. By automatically generating missing position-related inputs and incorporating position information, the appropriate tool can be effectively employed to address each sub-problem. Experiments demonstrate that GenArtist can perform various generation and editing tasks, achieving state-of-the-art performance and surpassing existing models such as SDXL and DALL-E 3, as can be seen in Fig. 1. Project page is https://zhenyuw16.github.io/GenArtist_page.

研究动机与目标

• 为解决现有图像生成与编辑模型在处理复杂、多样化及可变用户提示时的局限性。
• 克服当前模型缺乏验证与自我修正机制的问题，从而导致输出不可靠。
• 将多个专用模型统一为单一系统，通过智能体协同实现对多样化任务的处理能力。
• 通过分解复杂任务并分步规划，实现可靠、准确且可控的图像生成与编辑。

提出的方法

• MLLM 智能体作为 AI '艺术家'，分析用户指令，将复杂的文本提示或编辑指令分解为更简单的子问题。
• 采用树状结构规划机制组织子任务，其中每个节点代表一个操作，子节点表示顺序执行的动作，兄弟节点表示可选工具。
• 系统使用全面的工具库，整合现有模型（如文生图、布局生图、编辑工具）以实现灵活执行。
• 通过辅助检测模型自动生成缺失的空间输入（如物体位置），实现位置感知执行，提升工具准确性。
• 规划树中的每一步均包含验证机制，以确保执行正确；若操作失败，则触发纠正措施，如重新生成或使用替代工具。
• 通过在验证失败时重新执行任务并修改输入或切换至其他工具，实现自我修正，从而提升可靠性。

实验结果

研究问题

• RQ1 MLLM 智能体能否有效将复杂、多对象或多步骤的图像生成与编辑提示分解为可管理的子任务？
• RQ2 与端到端模型相比，采用分步验证的树状结构规划如何提升图像生成与编辑的可靠性与准确性？
• RQ3 具备动态工具选择的统一系统在应对多样化与复杂用户需求方面，能在多大程度上超越 SDXL 和 DALL-E 3 等专用模型？
• RQ4 当缺少空间输入时，位置感知工具执行在提升对象级编辑准确性方面有多有效？
• RQ5 自我修正机制能否显著降低图像生成与编辑任务中的失败率？

主要发现

• GenArtist 在 T2I-CompBench 基准测试中实现最先进性能，复杂属性基准得分为 0.8482，超越 SDXL（0.5879）及其他领先模型。
• 仅集成工具选择便使平均性能提升 13.8%，证明了智能模型选择的价值。
• 采用规划链（顺序验证）使平均指标提升 3%，凸显逐步验证的优势。
• 采用树状结构规划机制相比链式规划平均提升 12.5%，表明通过备用路径处理失败可显著增强系统鲁棒性。
• 该系统通过替换失败的编辑操作（如使用对象移除与重新添加工具）成功修正了图像中的错误，如错误的物体颜色或尺寸。
• 视觉示例表明，GenArtist 能够正确处理复杂编辑任务，例如在初始输出失败时重新生成图像并改进头发细节，证明了自我修正机制的有效性。