[論文レビュー] Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models

Lai Zeqiang, Zhu Xizhou+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLM）と市販のテキストから画像への拡散モデルを統合することで、微調整を必要とせず、自然言語の対話によって段階的に画像を改善するインタラクティブなテキストから画像（iT2I）生成を可能にする、プロンプト駆動のフレームワーク「Mini-DALL·E 3」を紹介する。自然言語による対話によって、ユーザーは複数回のやり取りを通じて画像を段階的に精錬でき、モデルの微調整なしに高品質で文脈に即した画像生成が実現される。同時に、推論や質問応答といったLLMのコアな能力も維持される。

ABSTRACT

The revolution of artificial intelligence content generation has been rapidly accelerated with the booming text-to-image (T2I) diffusion models. Within just two years of development, it was unprecedentedly of high-quality, diversity, and creativity that the state-of-the-art models could generate. However, a prevalent limitation persists in the effective communication with these popular T2I models, such as Stable Diffusion, using natural language descriptions. This typically makes an engaging image hard to obtain without expertise in prompt engineering with complex word compositions, magic tags, and annotations. Inspired by the recently released DALLE3 - a T2I model directly built-in ChatGPT that talks human language, we revisit the existing T2I systems endeavoring to align human intent and introduce a new task - interactive text to image (iT2I), where people can interact with LLM for interleaved high-quality image generation/edit/refinement and question answering with stronger images and text correspondences using natural language. In addressing the iT2I problem, we present a simple approach that augments LLMs for iT2I with prompting techniques and off-the-shelf T2I models. We evaluate our approach for iT2I in a variety of common-used scenarios under different LLMs, e.g., ChatGPT, LLAMA, Baichuan, and InternLM. We demonstrate that our approach could be a convenient and low-cost way to introduce the iT2I ability for any existing LLMs and any text-to-image models without any training while bringing little degradation on LLMs' inherent capabilities in, e.g., question answering and code generation. We hope this work could draw broader attention and provide inspiration for boosting user experience in human-machine interactions alongside the image quality of the next-generation T2I systems.

研究の動機と目的

• 高品質な出力を得るために熟練したプロンプト工学を必要とする既存のテキストから画像モデルにおけるユーザーフレンドリー性の低さという課題に対処する。
• 非エキスパートユーザーが望みの画像を効果的に生成できないのを妨げる自然言語理解の限界や、プロンプト設定の複雑さを克服する。
• ユーザーがLLM駆動のエージェントと複数回の対話を行うことで、自然言語を使って段階的に画像を生成・編集・精錬するという、新しいタスク「インタラクティブテキストから画像（iT2I）」を導入する。
• 任意の既存のLLMとテキストから画像モデルの組み合わせに、低コストで学習なしにiT2I機能を統合可能にする。
• 質問応答やコード生成といったLLMの本質的な能力を維持しつつ、画像生成と編集機能を追加する。

提案手法

• 少数ショットプロンプティングと思考の連鎖プロンプティングを用いて、LLMが拡散ベースのT2Iモデル用に適切なテキストプロンプトを生成するのをガイドする。
• 市販のT2Iモデル（例：Stable Diffusion）を、複数回の会話設定におけるLLMと統合し、画像生成・編集・精錬を支援する。
• 会話の文脈を維持することで、キャラクターの同一性やシーンの要素を保存するなど、複数回の画像編集における一貫性を確保する。
• 自然言語の指示（例：「犬を大きくして」や「ステッカーになってはいけない」）を、T2Iモデルと互換性のある構造化プロンプトに変換するプロンプトパイプラインを設計する。
• GPT-3.5、GPT-4、Claude 3、LLAMA2、Baichuan2、Qwen、InternLMといった多様なLLMを対象に評価し、汎用性と頑健性を検証する。
• 微調整なしに、プロンプト工学に依存するゼロショット評価設定を採用し、iT2I機能を有効化する。

Figure 2 : The evolution of image generation systems.

実験結果

リサーチクエスチョン

• RQ1 プロンプト技術により、微調整なしに既存のLLMが対話的で複数回のテキストから画像生成をサポートできるか？
• RQ2 商業的・オープンソースの異なるLLMが、自然言語対話によって文脈的に正確で高品質な画像プロンプトをどれほど効果的に生成できるか？
• RQ3 提示されたプロンプトベースのアプローチが、質問応答やコード生成といったタスクにおけるLLMの元来の能力をどの程度維持できるか？
• RQ4 会話の中で複数回の編集がなされても、キャラクターの同一性やシーン構造といった視覚的一致性を保てるか？
• RQ5 商業モデルと比較して、オープンソースLLMがiT2Iタスクを処理する上で抱える限界は何か？

主な発見

• GPT-3.5、GPT-4、Claude 3といった商業用LLMは、適切な画像プロンプトと入れ替えの応答を効果的に生成し、微調整なしにプロンプトによる強力なiT2I能力を示した。
• オープンソースLLMの中で、Baichuan2-13B-Chatが最も優れた結果を出したが、QwenやInternLMはプロンプトにもかかわらず画像生成を拒否する傾向にあった。
• ChatGLM2-6B-Chatは画像を生成したが、テキストと画像の対応が正しくないことが判明し、プロンプトの整合性に問題があることが示された。
• プロンプトベースのアプローチにより、再トレーニングを伴わず、任意のLLMとT2IモデルのペアにiT2I機能をゼロショット統合可能となった。
• この手法により、質問応答やコード生成といったLLMのコアな能力が最小限の劣化で維持された。
• MMLUへの評価では、プロンプトアプローチがLLMのパフォーマンスに顕著な悪影響を及ぼさず、平均スコアが59.34（少数ショット）および56.37（ゼロショット）であった。これは推論能力の強力な保持を示している。

Figure 3 : Illustrations of different human-machine interfaces for T2I systems.