[論文レビュー] Improving Automatic VQA Evaluation Using Large Language Models

Oscar Mañas, Benno Krojer+1 more|arXiv (Cornell University)|Oct 4, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、文脈内学習を用いて候補となる回答と基準回答を比較することで、回答の正しさを評価する、指令微調整済み大規模言語モデル（LLM）を活用した新しい自動VQA評価指標LAVEを提案する。LAVEは、特に分布外（OOD）および同義語が多く含まれる設定において、人間の判断との相関がVQA正答率やBERTScoreのようなソフトマージン指標を著しく上回り、スコアの背後にある根拠を解釈可能に提示する。

ABSTRACT

8 years after the visual question answering (VQA) task was proposed, accuracy remains the primary metric for automatic evaluation. VQA Accuracy has been effective so far in the IID evaluation setting. However, our community is undergoing a shift towards open-ended generative models and OOD evaluation. In this new paradigm, the existing VQA Accuracy metric is overly stringent and underestimates the performance of VQA systems. Thus, there is a need to develop more robust automatic VQA metrics that serve as a proxy for human judgment. In this work, we propose to leverage the in-context learning capabilities of instruction-tuned large language models (LLMs) to build a better VQA metric. We formulate VQA evaluation as an answer-rating task where the LLM is instructed to score the accuracy of a candidate answer given a set of reference answers. We demonstrate the proposed metric better correlates with human judgment compared to existing metrics across several VQA models and benchmarks. We hope wide adoption of our metric will contribute to better estimating the research progress on the VQA task. We plan to release the evaluation code and collected human judgments.

研究の動機と目的

• モデルが正しくても一致しない回答を生成する分布外（OOD）評価設定において、VQA正答率の限界を是正すること。
• 文字列の正確な一致を超えて意味的同等性を考慮する、より強固で人間の判断と整合性の取れる自動指標を開発すること。
• 指令微調整済みLLMの推論力と言語理解能力を活用し、視覚言語タスクにおける回答評価を向上させること。
• LAVEを従来の指標（VQA正答率やBERTScoreなど）と体系的に比較評価すること。
• 人間評価の代替として解釈可能でスケーラブルかつ信頼性の高い、VQAモデルのベンチマーク手法を提供すること。

提案手法

• 質問と複数の基準回答を提示し、そのもとで候補回答の正しさを0〜1のスケールで評価する指令微調整済みLLMを用いた回答評価タスクとしてVQA評価を定式化する。
• 正解／不正解のペアを少々の例示で提示する文脈内学習を用い、LLMの判断をガイドする。
• 質問、候補回答、基準回答を含むプロンプトを設計し、LLMに正しさを0〜1のスケールで評価するよう指示する。
• Flan-T5やGPT-3.5などの複数のLLMを用いて、モデルタイプに跨る耐性と一般化性能を検証する。
• 3つのVQAベンチマークで合計22,100件のテスト例について人間の判断を収集し、相関分析のゴールドスタンダードとする。
• スピアマンのρなどの相関係数を用いて、LAVEの性能をベースライン指標と定量的に比較する。

実験結果

リサーチクエスチョン

• RQ1 LAVEの人の判断との相関は、多様なVQAモデルやベンチマークにおいて、VQA正答率やBERTScoreのようなソフトマージン指標と比べてどのように異なるか？
• RQ2 LAVEは、語彙的・構文的差異によってVQA正答率が誤って正解を不正解と判断したケースのうち、どれくらいを回復できるか？
• RQ3 LAVEは、回答の詳細さ、表現の違い、意味的同等性の観点から、さまざまなVQA評価設定においてどれほど耐性があるか？
• RQ4 Flan-T5やGPT-3.5などの異なるLLMアーキテクチャが、LAVE指標の性能と信頼性に与える影響は何か？
• RQ5 VQA正答率の失敗モードはどのようなものか。LAVEはそれらをどれほど緩和できるか？

主な発見

• LAVEは、特にOODおよび同義語が多く含まれる設定において、VQA正答率やBERTScoreといったソフトマージン指標よりも顕著に高い人間の判断との相関を達成する。
• LAVEは、語彙的・構文的差異によってVQA正答率が誤って不正解と判断した16.33%のケースを回復する。
• 8.25%のケースにおいて、LAVEは意味的に正しい回答を正しく1.0のスコアで評価するが、VQA正答率は0.5未満のスコアを出すことがあり、これにより耐性が向上していることが示された。
• LAVEは、すべての評価済みベンチマークで、スピアマンの相関係数において、すべてのベースライン（ソフトVQA正答率やBERTScoreを含む）を上回る性能を示した。
• アブレーションスタディの結果、プロンプトの設計と基準回答の使用の両方がLAVEの性能にとって不可欠であることが確認され、特にプロンプト設計の影響がより強いことが分かった。
• LAVEはスコアの背後にある根拠を解釈可能に提示するため、自動評価の透明性と信頼性が向上する。