[論文レビュー] Caption Anything: Interactive Image Description with Diverse Multimodal Controls

Teng Wang, Jinrui Zhang+6 more|arXiv (Cornell University)|May 4, 2023

Multimodal Machine Learning Applications被引用数 19

ひとこと要約

Caption Anything (CAT) は、SAM、BLIP-2/LLMs、および ChatGPT を統合してゼロショットの制御可能なキャプションを実現する、トレーニング不要なフレームワークで、画像キャプションに多様な視覚制御と言語制御を組み合わせます。

ABSTRACT

Controllable image captioning is an emerging multimodal topic that aims to describe the image with natural language following human purpose, $ extit{e.g.}$, looking at the specified regions or telling in a particular text style. State-of-the-art methods are trained on annotated pairs of input controls and output captions. However, the scarcity of such well-annotated multimodal data largely limits their usability and scalability for interactive AI systems. Leveraging unimodal instruction-following foundation models is a promising alternative that benefits from broader sources of data. In this paper, we present Caption AnyThing (CAT), a foundation model augmented image captioning framework supporting a wide range of multimodel controls: 1) visual controls, including points, boxes, and trajectories; 2) language controls, such as sentiment, length, language, and factuality. Powered by Segment Anything Model (SAM) and ChatGPT, we unify the visual and language prompts into a modularized framework, enabling the flexible combination between different controls. Extensive case studies demonstrate the user intention alignment capabilities of our framework, shedding light on effective user interaction modeling in vision-language applications. Our code is publicly available at https://github.com/ttengwang/Caption-Anything.

研究の動機と目的

• 説明をユーザーの意図に合わせて制御可能な画像キャプションを促進する。
• データ不足を克服するため、ファウンデーションモデルを活用して広範な制御信号をサポートする。
• 視覚的制御と言語制御をモジュール型で拡張可能な表現に統一する。
• オブジェクト中心のチャットや画像段落キャプションの対話能力を示す。

提案手法

• Segment Anything Model (SAM) を用いて視覚的制御（ポイント、ボックス、軌跡）を画素レベルのマスクに変換する。
• 事前学習済みのキャプショナー（BLIP-2）を用いてマスクされた領域の生キャプションを生成する。
• 視覚的な思考の連鎖を段階的に推論して、ユーザーが選択したオブジェクトにキャプションを集中させる。
• テキストプロンプトに対応する言語制御を用いて、命令調の言語モデル（例: ChatGPT）で生キャプションを洗練させる。
• 視覚的制御と言語制御をマスクとテキストプロンプトに統一し、新しい制御の柔軟な拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットのファウンデーションモデルベースのフレームワークは、さまざまな視覚制御と言語スタイルに跨る制御可能なキャプションを生成できるか。
• RQ2 視覚制御と言語制御を統一して、タスク固有の学習なしに柔軟で対話的なキャプションを実現するにはどうすれば良いか。
• RQ3 段階的な視覚推論が、ユーザー選択領域へのキャプションの着地にどのような影響を与えるか。
• RQ4 補助ツール（OCR、VQA）を用いたオブジェクト中心のチャットと画像段落キャプションに CAT を拡張するにはどうするか。

主な発見

• CAT は、キャプション生成のための多様な視覚制御（ポイント、ボックス、軌跡）と言語制御（感情、長さ、言語、事実性）を可能にする。
• BLIP-2 と SAM、および命令調整済み LLMs を組み合わせることで、ゼロショットのキャプショニングを実現する。
• 視覚的思考の連鎖は、ユーザー選択領域への焦点を改善し、記述的な詳細を高める。
• テキストリファイナー（ChatGPT）は、テキストプロンプトを介してユーザーの嗜好に合わせたキャプションを作成する。
• CAT は、補助ツールとプロンプトチェーンを活用したオブジェクト中心のチャットや画像段落キャプションへの拡張をサポートする。