[論文レビュー] GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing

Zhenyu Wang, Aoxue Li+2 more|arXiv (Cornell University)|Jul 8, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

GenArtistは、複雑なプロンプトを分解し、ツリー構造の実行フローを介してアクションを計画し、ツールライブラリから動的に選択することで、画像生成と編集を統合するシステムを提示する。マルチモーダル大規模言語モデル（MLLM）エージェントを活用し、画像の生成と自己訂正を実現する。ベンチマークタスクにおいて、SDXL や DALL-E 3 よりも最先端の性能を達成しており、計画、検証、位置情報に配慮したツール実行を統合している。

ABSTRACT

Despite the success achieved by existing image generation and editing methods, current models still struggle with complex problems including intricate text prompts, and the absence of verification and self-correction mechanisms makes the generated images unreliable. Meanwhile, a single model tends to specialize in particular tasks and possess the corresponding capabilities, making it inadequate for fulfilling all user requirements. We propose GenArtist, a unified image generation and editing system, coordinated by a multimodal large language model (MLLM) agent. We integrate a comprehensive range of existing models into the tool library and utilize the agent for tool selection and execution. For a complex problem, the MLLM agent decomposes it into simpler sub-problems and constructs a tree structure to systematically plan the procedure of generation, editing, and self-correction with step-by-step verification. By automatically generating missing position-related inputs and incorporating position information, the appropriate tool can be effectively employed to address each sub-problem. Experiments demonstrate that GenArtist can perform various generation and editing tasks, achieving state-of-the-art performance and surpassing existing models such as SDXL and DALL-E 3, as can be seen in Fig. 1. Project page is https://zhenyuw16.github.io/GenArtist_page.

研究の動機と目的

• 既存の画像生成および編集モデルが、複雑で多様かつ変動しやすいユーザーのプロンプトに対して困難を抱えるという限界を克服すること。
• 現在のモデルに欠如している検証および自己訂正メカニズムの欠如により、出力が信頼できない状態になる問題を是正すること。
• 複数の専門的モデルを統合し、知的なエージェント連携によって多様なタスクを処理できる単一のシステムを構築すること。
• 複雑なタスクを分解し、検証を伴う段階的計画を実施することで、信頼性が高く正確かつ制御可能な画像生成と編集を実現すること。

提案手法

• MLLMエージェントはAI「アーティスト」として機能し、ユーザーの指示を分析し、複雑なテキストプロンプトや編集指示をより単純な部分問題に分解する。
• 部分問題を整理するためにツリー構造の計画メカニズムが用いられ、各ノードが操作を表し、子ノードは順次実行アクション、兄弟ノードは代替ツールを示す。
• 既存のモデル（例：テキストから画像、レイアウトから画像、編集ツールなど）を統合した包括的なツールライブラリを採用し、柔軟な実行を可能にする。
• 補助的検出モデルにより、物体の位置などの欠落した空間入力を自動的に生成することで、位置情報に配慮した実行を実現し、ツールの正確性を向上させる。
• 計画ツリーの各ステップには検証が組み込まれており、正しく実行されているかを確認する。失敗した操作は、再生成や代替ツールの使用といった是正措置を引き起こす。
• 検証に失敗した場合、入力を変更するか代替ツールを使用して再実行することで、自己訂正を達成し、信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MLLMエージェントは、複雑で複数のオブジェクトを含む、または複数ステップからなる画像生成および編集プロンプトを、管理可能な部分問題に効果的に分解できるか？
• RQ2 段階的検証を伴うツリー構造の計画は、エンドツーエンドモデルと比較して、画像生成および編集の信頼性と正確性をどのように向上させるか？
• RQ3 動的ツール選択を備えた統合型システムは、SDXL や DALL-E 3 といった専門的モデルを上回り、多様で複雑なユーザー要件を処理できるか、その限界はどこか？
• RQ4 空間入力が欠落している状況で、位置情報に配慮したツール実行は、オブジェクトレベルの編集の正確性をどの程度向上させるか？
• RQ5 自己訂正メカニズムは、画像生成および編集タスクにおける失敗率を顕著に低減できるか？

主な発見

• GenArtistはT2I-CompBenchベンチマークで最先端の性能を達成し、Complex属性ベンチマークで0.8482のスコアを記録。これはSDXL（0.5879）や他の先進モデルを上回る。
• ツール選択の統合により、ベースラインツールと比較して平均13.8%の性能向上を達成し、知的なモデル選択の価値を示した。
• 計画チェーン（順次検証）を採用したことで、指標が平均3%向上し、段階的検証の利点を裏付けた。
• ツリー構造の計画メカニズムを採用したことで、チェーンベースの計画に比べて平均12.5%の向上を達成し、失敗に対する代替経路の処理が耐障害性を高めることを示した。
• 生成された画像に誤ったオブジェクトの色やサイズがあった場合、オブジェクトの削除と再追加といった代替ツールに切り替えることで、エラーを効果的に是正した。
• 視覚的例では、GenArtistが初期出力に失敗した場合に、髪の毛の詳細を改善して画像を再生成するような複雑な編集を正しく処理しており、自己訂正の有効性を実証した。