[論文レビュー] Interactive Data Synthesis for Systematic Vision Adaptation via LLMs-AIGCs Collaboration

Qifan Yu, Juncheng Li+3 more|arXiv (Cornell University)|May 22, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）とAIGCモデル（例：Stable Diffusion）の協調プロンプトを活用して、体系的ビジョン適応のための高品質で多様性に富み、詳細なアノテーションが施された合成画像を生成する、革新的なインタラクティブなデータ合成フレームワーク、ChatGenImageを提案する。LLMによるグローバルおよびローカルプロンプトの段階的改善を通じて、画像生成を繰り返し精錬することで、制御可能でコスト効率の高いデータ拡張が可能となり、とくにレアまたは未確認のドメインにおいて顕著に向上した下流モデルの一般化性能を実現する。人為的作業の最小限化が特徴である。

ABSTRACT

Recent text-to-image generation models have shown promising results in generating high-fidelity photo-realistic images. In parallel, the problem of data scarcity has brought a growing interest in employing AIGC technology for high-quality data expansion. However, this paradigm requires well-designed prompt engineering that cost-less data expansion and labeling remain under-explored. Inspired by LLM's powerful capability in task guidance, we propose a new paradigm of annotated data expansion named as ChatGenImage. The core idea behind it is to leverage the complementary strengths of diverse models to establish a highly effective and user-friendly pipeline for interactive data augmentation. In this work, we extensively study how LLMs communicate with AIGC model to achieve more controllable image generation and make the first attempt to collaborate them for automatic data augmentation for a variety of downstream tasks. Finally, we present fascinating results obtained from our ChatGenImage framework and demonstrate the powerful potential of our synthetic data for systematic vision adaptation. Our codes are available at https://github.com/Yuqifan1117/Labal-Anything-Pipeline.

研究の動機と目的

• 合成データを用いたスケーラブルで低コストのデータ拡張により、視覚タスクにおけるデータ不足とドメインシフトを解消すること。
• 既存のAIGCベースのデータ合成手法には、しばしば単純でオブジェクト中心の画像が生成され、シーンの複雑さやドメインの多様性に制限があるという課題を克服すること。
• LLMのゼロショット推論および指示従い能力を活用し、複雑で意味的に豊かなシーンと細分化されたアノテーションを有する画像生成を誘導すること。
• LLMによるプロンプト設計とAIGCによる画像生成を組み合わせたインタラクティブで反復的なパイプラインを構築し、下流の視覚タスクにおける制御可能でスケーラブルなデータ拡張を実現すること。

提案手法

• 入力ラベルに基づき、ゼロショットプロンプティング戦略を用いて画像生成を誘導するため、gpt-3.5-turboをLLMとして採用し、グローバルおよびローカルプロンプトを生成する。
• Stable Diffusion v1.5をAIGCのバックボーンとして採用し、LLMが生成したプロンプトから512×512解像度の画像を生成する。推論安定性を確保するため、温度を0に設定する。
• LLMが生成された画像を分析し、欠落または誤った要素を特定し、リアルリズムと意味的正確性を向上させるために、的を射たローカル編集プロンプトを発行する反復的精錬ループを実装する。
• 生成画像におけるオブジェクトの存在と空間的関係を自動で検出・検証するラベルファウンデーションツールキットを統合し、意味的整合性を保証する。
• オープンボリュームオブジェクト検出を適用し、元のオブジェクト意味や背景コンテキストを保持しない画像をフィルタリングし、意味的に整合性のある高品質な出力をのみ保持する。
• テキスト的制約と画像コンテンツ間の意味的整合性スコアを用いて画像候補をランク付けし、信頼度が低い結果は破棄することで、データ品質を保証する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、レアまたはなじみのない概念に対しても、反復的プロンプトによって、複雑で多様性に富み、意味的に正確な画像をAIGCモデルが生成できるか？
• RQ2 LLMとAIGCモデルの協働は、単純なプロンプトベースのAIGC生成と比較して、合成データの制御性と品質をどのように向上させるか？
• RQ3 このインタラクティブパイプラインを介して生成された合成データは、未確認ドメインにおける下流のビジョンモデルの一般化性能および耐性をどの程度向上させるか？
• RQ4 本フレームワークは、標準的なデータ拡張でしばしば無視される、細分化されたアノテーションや多様なシーン構成（例：夜、雪、森）を体系的に生成できるか？
• RQ5 反復的精錬プロセスは、画像生成における幻覚の是正およびオブジェクトの一貫性と空間的関係の改善にどの程度効果的か？

主な発見

• ChatGenImageは、標準分類器がなじみのないレアまたは絶滅危惧種の概念に対しても、高精細で複雑なシーンの画像と細分化されたアノテーションを効果的に生成した。
• 反復的でLLM-AIGC協働によるプロセスは、画像品質と意味的正確性を顕著に向上させ、山岳地帯、森、夜間など、標準的なデータ拡張でしばしば不足しがちな多様なシーンを生成可能にした。
• テキストプロンプトと生成画像との間で高い意味的整合性を達成しており、オブジェクト検出と意味スコアリングに基づくフィルタリングにより、高品質な出力のみが保持された。
• 人為的介入を最小限に抑え、1台のコンsumer級GPU（Nvidia RTX 3090）で全パイプラインが実行可能なため、コスト効率の高いスケーラブルなデータ拡張が実現した。
• 定性的な結果から、LLMがAIGCモデルを効果的に誘導し、雪の木や山岳地帯の川といった、特定のオブジェクト関係や空間的配置を組み込むことができたことが示された。
• 本フレームワークは、未確認ドメインやロングテールカテゴリをカバーする合成データを生成できるという強力な可能性を示しており、実世界での展開におけるモデルの耐性を高めるものと期待される。