[論文レビュー] ViperGPT: Visual Inference via Python Execution for Reasoning

Dídac Surís, Sachit Menon+1 more|arXiv (Cornell University)|Mar 14, 2023

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

ViperGPT はコード生成モデルを用いて vision-language モジュールを組み合わせて Python プログラムを作成し、それを実行して視覚クエリに答え、タスク特化のトレーニングなしで grounding、VQA、動画推論の分野において強力なゼロショット性能を達成します。

ABSTRACT

Answering visual queries is a complex task that requires both visual processing and reasoning. End-to-end models, the dominant approach for this task, do not explicitly differentiate between the two, limiting interpretability and generalization. Learning modular programs presents a promising alternative, but has proven challenging due to the difficulty of learning both the programs and modules simultaneously. We introduce ViperGPT, a framework that leverages code-generation models to compose vision-and-language models into subroutines to produce a result for any query. ViperGPT utilizes a provided API to access the available modules, and composes them by generating Python code that is later executed. This simple approach requires no further training, and achieves state-of-the-art results across various complex visual tasks.

研究の動機と目的

• 複雑な視覚クエリに対して、エンドツーエンドの視覚モデルに代るモジュール化され解釈可能なアプローチの動機付け。
• API 経由でモジュール化された vision/knowledge ツールを呼び出す Python プログラムを合成するコード生成モデルを用いたフレームワークを提案する。
• タスク特化のトレーニングなしで、visual grounding、VQA、動画推論の分野でゼロショット・最先端の性能を示す。
• 視覚タスクのプログラム合成を加速させ、モジュール型視覚推論の研究を促進する再利用可能な Python ライブラリを提供する。

提案手法

• 事前学習済みモデルをバックにした、モジュール化された vision および knowledge コンポーネントの API を定義する（例: find, exists, compute_depth, best_text_match）。
• 大規模言語モデル（Codex）を用いて、これらのモジュールをテキストクエリからなるプログラムへ組み立てる Python コードを生成する。
• 標準の Python インタプリタで生成された Python プログラムを実行し、最終回答を得る。これにより解釈性のための明確な中間値を得られる。
• コード生成をガイドする API 仕様とドキュメンテーション文字列を提供しつつ、モジュールの実装を LLM のコンテキストウィンドウから抽象化しておく。
• GPU 上で複数のプログラムを効率的に処理するために、マルチプロセッシングとバッチ実行を有効にする。

実験結果

リサーチクエスチョン

• RQ1 LLM を介したゼロショットのプログラム合成は、タスク特化のトレーニングなしで複雑なクエリに答えるために vision-language モジュールを効果的に組み合わせることができるのか？
• RQ2 視覚推論タスクを解く際に生成されたプログラムの中間ステップは、どれだけ解釈可能で忠実であるのか？
• RQ3 モジュール化された知覚および外部知識コンポーネントが、grounding、VQA、動画推論タスクの性能に与える影響はどの程度か？
• RQ4 Python ベースの実行フレームワークは、動画データに拡張し、特殊なインタプリタを用いずに時系列/因果推論をサポートできるか？

主な発見

• 視覚 grounding、画像の質問応答、外部知識 QA、および動画の時系列/因果推論の分野で強力なゼロショット性能を達成。
• モジュール化されたコンポーネントによって生成された明示的な中間値から答えを構成するため、解釈可能なステップバイステップの実行が得られる。
• このフレームワークは、GLIP、X-VLM、MiDaS などの知覚モジュールと Python レベルの論理、および外部知識クエリ（例: GPT-3）を組み合わせることで、多様なタスクに対応する利点がある。
• このアプローチはオープンワールドのクエリをサポートし、タスク特化のトレーニングを必要とせず、改善は基盤となるモジュールとコーディング構文に結びつく。
• 動画推論は、順序付けられたフレームに対する逐次的な知覚と推論を通じて現れ、主に画像向けの知覚モジュールを使用するにもかかわらず競争力のある結果を達成。