[論文レビュー] LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

Wei-Ge Chen, Irina Spiridonova+3 more|arXiv (Cornell University)|Nov 1, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

LLaVA-Interactive は、追加の訓練を必要とせず、事前学習済みモデルを組み合わせることで、画像チャット、セグメンテーション、画像生成/編集のための視覚的プロンプトを可能にする、オープンソースでコスト効率の高いマルチモーダルAIシステムです。自然言語と視覚的入力（ストローク、ドラッグアンドドロップ、バウンディングボックスなど）を用いた複数回の対話が可能で、テキストのみのモデルと比較して、意図の理解とインタラクションの没入感が顕著に向上しています。

ABSTRACT

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.

研究の動機と目的

• テキスト入力にとどまらない、豊富なインタラクティブな人間-AI対話に対応できる低コストでオープンソースのマルチモーダルAIシステムの開発。
• 描画、ドラッグ、バウンディングボックスなどの視覚的プロンプトを用いて、画像編集、セグメンテーション、生成タスクにおける複雑なユーザーの意図を表現可能にする。
• 微調整なしに、LLaVA（視覚的チャット用）、SEEM（セグメンテーション用）、GLIGEN（画像生成/編集用）の3つの事前学習済みマルチモーダルモデルを統合する。
• 現実世界のシナリオにおいて、視覚と言語のタスクを統合する、統一的でインタラクティブなマルチモーダルエージェントの実現可能性を示す。
• 柔軟で拡張可能で、一般公開されたフレームワークを通じて、将来の汎用マルチモーダルAIエージェント分野の研究を促進する。

提案手法

• 本システムは、マルチモーダル理解と対話に用いる LLaVA、インスタンスセグメンテーションに用いる SEEM、画像生成・編集に用いる GLIGEN の3つの事前学習済みモデルの推論を統合する。
• ストローク、ドラッグアンドドロップ、バウンディングボックスなどの視覚的プロンプトを画像上に直接指定することで、セグメンテーションや編集タスクにおけるユーザーの意図を正確に制御できる。
• インターフェースは3つのパネルで構成される：視覚的インタラクションパネル（描画やオブジェクト選択用）、チャットパネル（自然言語対話用）、出力パネル（結果の表示用）。
• ユーザーの行動は、グランドインストラクションと視覚的キューを介して解釈され、リアルタイムで対応するモデルAPIにマッピングされる。
• システムは複数回の対話フローを処理し、対話の文脈を保持しながら出力を動的に更新する。
• モデルの微調整やプロンプト工学は一切不要で、すべての機能が既存の事前学習済みモデルのオchestrationによって実現される。

Figure 1 : The user interface of LLaVA-Interactive. (a) The overall user interface layout with three main panels, among which the visual interaction panel consists of three tabs based on their functionalities. They are shown in magenta rounded rectangles, and detailed in (b,c,d), whose image output

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルAIシステムは、ストロークやバウンディングボックスなどの視覚的プロンプトを効果的に解釈し、複雑な画像編集タスクに応答できるか？
• RQ2 マルチモーダル対話システムにおいて、視覚的プロンプトはテキストのみのプロンプトと比較して、ユーザーの意図理解とインタラクション参加度をどのように向上させるか？
• RQ3 事前学習済みモデルを組み合わせたシステムが、追加の訓練なしに、どれほど豊富でインタラクティブな機能を達成できるか？
• RQ4 視覚的プロンプトは、どのような実用的応用シナリオでマルチモーダルAIエージェントの使いやすさを向上させるか？
• RQ5 このようなシステムは、GPT-4Vのようなプロプライエタリモデルの代替として、インタラクティブでマルチモーダルなエージェントを構築する上で実用的かつオープンソースの選択肢として成立するか？

主な発見

• LLaVA-Interactive は、自然言語と視覚的入力の両方を用いた複数回のマルチモーダル対話が可能であり、ユーザーの意図理解が向上していることを実証した。
• 視覚的プロンプト（例：オブジェクトに描画する、セグメントをドラッグする）は、テキストのみのコマンドと比較して、セグメンテーションおよび編集タスクにおける正確性と表現力が顕著に向上した。
• 微調整や追加学習なしに、3つの事前学習済みモデルのオchestrationにより、画像チャット、セグメンテーション、生成、編集のすべての機能を実現した。
• インテリアデザインや異常なオブジェクト検出の事例研究において、システムは複雑なユーザーの要請を解釈し、文脈的に適切で視覚的に正確な出力を生成できた。
• 本システムは、特にクリエイティブでインタラクティブな分野において、将来のマルチモーダルAIエージェントを構築するための柔軟で拡張可能なフレームワークとして強い可能性を示した。
• コードベースとデモのオープンソース公開により、コミュニティ主導のイノベーションや、インタラクティブなマルチモーダルシステムのさらなる開発が促進された。

Figure 2 : The workflow of LLaVA-Interactive.