Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] AVIS: Autonomous Visual Information Seeking with Large Language Model Agent

Ziniu Hu, Ahmet İşcen|arXiv (Cornell University)|Jun 13, 2023
Multimodal Machine Learning Applications被引用数 15
ひとこと要約

AVIS は、遷移グラフに導かれたツールセットを備えた LLM 主導のプランナーとリソナーを用いて、動的で木探索に基づく視覚情報探索を実行し、Infoseek と OK-VQA で最先端の性能を達成します。

ABSTRACT

In this paper, we propose an autonomous information seeking visual question answering framework, AVIS. Our method leverages a Large Language Model (LLM) to dynamically strategize the utilization of external tools and to investigate their outputs, thereby acquiring the indispensable knowledge needed to provide answers to the posed questions. Responding to visual questions that necessitate external knowledge, such as "What event is commemorated by the building depicted in this image?", is a complex task. This task presents a combinatorial search space that demands a sequence of actions, including invoking APIs, analyzing their responses, and making informed decisions. We conduct a user study to collect a variety of instances of human decision-making when faced with this task. This data is then used to design a system comprised of three components: an LLM-powered planner that dynamically determines which tool to use next, an LLM-powered reasoner that analyzes and extracts key information from the tool outputs, and a working memory component that retains the acquired information throughout the process. The collected user behavior serves as a guide for our system in two key ways. First, we create a transition graph by analyzing the sequence of decisions made by users. This graph delineates distinct states and confines the set of actions available at each state. Second, we use examples of user decision-making to provide our LLM-powered planner and reasoner with relevant contextual instances, enhancing their capacity to make informed decisions. We show that AVIS achieves state-of-the-art results on knowledge-intensive visual question answering benchmarks such as Infoseek and OK-VQA.

研究の動機と目的

  • 画像を超える外部知識を必要とする視覚的質問の解決動機付け。
  • ツールの使用をオーケストレートする自律的な LLM ベースのプランナー、リソナー、メモリの開発。
  • 遷移グラフを介して人間の意思決定データを活用し、ツール選択を制約・導入力を行う。

提案手法

  • LLM 搭載のプランナー、LLM 搭載のリソナー、作業メモリという三要素システムを導入。
  • ユーザ研究から得られた遷移グラフを用いて各状態での実行可能なアクションを制約。
  • 動的・段階的なツール使用（ビジョン API、ウェブ検索、画像検索）とバックトラッキング・メモリを活用して回答に到達。
  • プランナー用のプロンプトを、インコンテキストの例と現在のメモリを用いて次のツールとそのクエリを選択。
  • 別のリソナーを用いて各ツール出力から有用情報を抽出し、継続するか回答を確定するかを判断。
  • AVIS を Infoseek Wikidata および OK-VQA で評価し、ベースラインやアブレーションと比較して動的意思決定の利点を示す。
Figure 1: An example of AVIS’s generated workflow for answering a challenging visual question using LLM with tree search to use tools. The input image is taken from the Infoseek dataset.
Figure 1: An example of AVIS’s generated workflow for answering a challenging visual question using LLM with tree search to use tools. The input image is taken from the Infoseek dataset.

実験結果

リサーチクエスチョン

  • RQ1外部ツールを各ステップで動的に決定して、知識集約的な視覚質問に答えるにはどうすればよいか。
  • RQ2人間の意思決定データに基づくプランナーの定着（遷移グラフとインコンテキスト例を通じた）によって、ツール選択と推論の精度は改善されるか。
  • RQ3動的意思決定とバックトラッキングの導入は、固定的・順次的なツール使用と比較して性能にどのような影響を与えるか。

主な発見

データセットモデル未知のエンティティ（％）未知の質問（％）
Infoseek WikidataPALM (Q-only, few-shot)3.75.1
Infoseek WikidataOF A (fine-tune)9.714.8
Infoseek WikidataPALI (VQA, zero-shot)1.82.2
Infoseek WikidataPALI (fine-tune)16.020.7
Infoseek WikidataPALM w/ CLIP21.918.6
Infoseek WikidataFiD w/ CLIP20.718.1
Infoseek Wikidatabaseline-PALM w/ PALI*12.814.9
Infoseek Wikidatabaseline-PALM w/ PALI* + Object31.336.1
Infoseek Wikidatabaseline-PALM w/ PALI* + Object + Search36.138.2
Infoseek WikidataAVIS (ours, few-shot)50.756.4
Infoseek Wikidataw/o PALI*47.954.2
Infoseek Wikidataw/o Object41.248.4
Infoseek Wikidataw/o Search42.549.6
OK-VQASupervised KRISP38.4
OK-VQAKAT54.4
OK-VQAReVIVE58.0
OK-VQAREVEAL59.1
OK-VQAPALI (OK-VQA, finetune)64.5
OK-VQAZero-shot PALI (VQA)41.6
OK-VQAPICa-Full48.0
OK-VQAFlamingo zero-shot50.6
OK-VQAViperGPT few-shot51.9
OK-VQAFlamingo few-shot57.8
OK-VQAbaseline-PALM w/ PALI44.3
OK-VQAbaseline-PALM w/ PALI + Object38.2
OK-VQAbaseline-PALM w/ PALI + Object + Search47.9
OK-VQAAVIS (ours)60.2
OK-VQAw/o PALI47.1
OK-VQAw/o Object58.3
OK-VQAw/o Search55.0
  • AVIS は Infoseek の unseen-entity で 50.7%、unseen-question の分割で 56.4% の精度を、 few-shot プロンプティングで達成。
  • AVIS は OK-VQA で 60.2% の精度を達成し、いくつかのベースラインおよび多くのファインチューニングされていないモデルを上回った。
  • 動的意思決定は、同じツールセットを使用する逐次的ベースラインより優れており、Infoseek で最大 17.3 の精度改善を示す。
  • アブレーション研究により、どのツールを削除しても性能が低下することが分かり、特に Object と Search は Infoseek に対して重要であり、PALI は OK-VQA の結果により寄与する。
  • バックトラッキング可能なリソナーは、初期のツール選択が誤っていても回復できることをケーススタディで示した。
  • このシステムは人間由来の遷移グラフを用いてアクション空間を制約し、文脈強化プロンプトでプランニングと推論を導く。
Figure 4: We conduct a user study to gather examples of user decision-making when responding to visual information-seeking questions. Given a visual question as depicted in (a), the user makes a series of tool calls using the available APIs shown in (b). Each tool call yields an output which the use
Figure 4: We conduct a user study to gather examples of user decision-making when responding to visual information-seeking questions. Given a visual question as depicted in (a), the user makes a series of tool calls using the available APIs shown in (b). Each tool call yields an output which the use

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。