[論文レビュー] Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language

Andy Zeng, Attarian, Maria+11 more|arXiv (Cornell University)|Apr 1, 2022

Multimodal Machine Learning Applications被引用数 170

ひとこと要約

The paper introduces Socratic Models (SMs), a modular zero-shot framework that composes pretrained multimodal models via language prompts to solve new multimodal tasks without finetuning, achieving competitive zero-shot results and enabling new applications.

ABSTRACT

Large pretrained (e.g., "foundation") models exhibit distinct capabilities depending on the domain of data they are trained on. While these domains are generic, they may only barely overlap. For example, visual-language models (VLMs) are trained on Internet-scale image captions, but large language models (LMs) are further trained on Internet-scale text with no images (e.g., spreadsheets, SAT questions, code). As a result, these models store different forms of commonsense knowledge across different domains. In this work, we show that this diversity is symbiotic, and can be leveraged through Socratic Models (SMs): a modular framework in which multiple pretrained models may be composed zero-shot i.e., via multimodal-informed prompting, to exchange information with each other and capture new multimodal capabilities, without requiring finetuning. With minimal engineering, SMs are not only competitive with state-of-the-art zero-shot image captioning and video-to-text retrieval, but also enable new applications such as (i) answering free-form questions about egocentric video, (ii) engaging in multimodal assistive dialogue with people (e.g., for cooking recipes) by interfacing with external APIs and databases (e.g., web search), and (iii) robot perception and planning.

研究の動機と目的

• 異なるドメイン（視覚、言語、音声）で訓練された事前学習モデル間の補完的知識をファインチューニングなしに活用する。
• 言語をモデル間の普遍的媒体として活用し、マルチモーダル推論を形成する。
• 標準ベンチマークで競争力のあるゼロショット性能を示し、 egocentric 推論、マルチモーダル対話、ロボット計画などの新しい応用を可能にする。
• プロンプトを介して異種の基盤モデルを組み合わせる実践的な利点、限界、将来の研究方向を強調する。

提案手法

• Socratic Modelsを、言語プロンプトを介してモジュールを接続する計算グラフとして定義する。
• マルチモーダル prompting を用いて、言語以外のモダリティ情報を言語プロンプトに代入してLMベースの推論を行う。
• VLM、LM、ALM（API）間の軽量なプロンプト誘導対話を用いて、下流タスクのゼロショット推論を実行する。
• 同じモデルを複数回呼び出して出力を洗練させる、閉ループの相互作用を示す。
• 世界状態の履歴概念を適用し、動画内容をLMが推論できる言語に要約する。

実験結果

リサーチクエスチョン

• RQ1 ヘテロジニアスな事前学習モデル（視覚、言語、音声、API）間でのゼロショット prompting が、訓練なしで競争力のあるマルチモーダルタスク性能を生み出せるか。
• RQ2 言語を中間表現として用い、独立したモデル間での横断的な交換と推論を可能にする方法は。
• RQ3 画像キャプション生成、文脈キャプション、動画検索、自己中心的推論といったプロンプト駆動タスクにおける SM の能力と限界は。
• RQ4 タスク特化のファインチューニングなしに、マルチモーダル支援対話やロボット知覚/計画などの新しい応用を可能にするか。

主な発見

• SMはMS COCOの画像キャプション生成およびMSR-VTTの動画からテキストへの検索で競争力のあるゼロショット性能を達成し、いくつかのゼロショットベースラインを上回る顕著な向上を示す。
• Concadiaの文脈キャプショニングで、SMはゼロショットのキャプショニングおよび説明タスクでファインチューニング済みの前法よりも優れている。
• MSR-VTTの長尺ビデオに対する動画からテキストへの検索で新しいゼロショット状態最適を達成し、特定のシナリオでファインチューニング済み手法に近づく。
• SMは外部APIや動的データソースを統合することにより、オープンエンドの自己中心的知覚、マルチモーダル支援対話、ロボット知覚/計画を可能にする。
• プロンプトはトレーニングを要しない自己完結型のフレームワークを実現し、VLM、LM、ALMの相補的長所を活かす一方、事前学習モデルの信頼性に依存するなどの制約を認識している。