[論文レビュー] LingoQA: Visual Question Answering for Autonomous Driving

Ana-Maria Marcu, Long Chen+10 more|arXiv (Cornell University)|Dec 21, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

LingoQAは、ロンドン中心部の実際の走行状況から収集された419,900件のQAペアを含む、自動運転における動画質問応答の包括的ベンチマークを導入した。自由形式の質問と回答を特徴とし、人間の評価と0.95のスピアマン相関を示す学習済みテキスト分類器であるLingo-Judgeを提案。BLEU、METEOR、CIDEr、GPT-4など従来の指標を上回る性能を発揮した。

ABSTRACT

We introduce LingoQA, a novel dataset and benchmark for visual question answering in autonomous driving. The dataset contains 28K unique short video scenarios, and 419K annotations. Evaluating state-of-the-art vision-language models on our benchmark shows that their performance is below human capabilities, with GPT-4V responding truthfully to 59.6% of the questions compared to 96.6% for humans. For evaluation, we propose a truthfulness classifier, called Lingo-Judge, that achieves a 0.95 Spearman correlation coefficient to human evaluations, surpassing existing techniques like METEOR, BLEU, CIDEr, and GPT-4. We establish a baseline vision-language model and run extensive ablation studies to understand its performance. We release our dataset and benchmark as an evaluation platform for vision-language models in autonomous driving.

研究の動機と目的

• エンドツーエンドの自動運転システムにおける説明可能性の欠如が、一般の信頼を損なう要因となっているため、これを是正すること。
• 包括的なベンチマークが存在しないため、自動運転における動画質問応答モデルの評価が困難であるという課題を克服すること。
• 動画QA出力の人に近い好みと強く相関する信頼性の高い自動評価指標を開発すること。
• 訓練および評価用に、現実の走行状況に基づいた自由形式QAペアから構成される大規模かつ高品質なデータセットを構築すること。
• 今後の説明可能な自動運転分野の研究を導くために、強力なベースラインモデルとアブレーションスタディを確立すること。

提案手法

• ロンドン中心部の実際の走行状況から得た419,900件の自由形式QAペアを含む、自動運転動画QAのためのベンチマーク「LingoQA」を導入。
• 人間の評価と相関するように設計された、GPT-Judgeを模倣した学習済みテキスト分類器「Lingo-Judge」を考案。
• 人間がアノテートした1,000件のQAペアのうちのホールドアウトセットを用いて、分類器を訓練し、人間の好みと整合性を確保。
• Vicuna-1.5-7Bをベースにした視覚言語モデルを採用。4秒間にわたる5フレームの動画入力に対して、ラテン融合手法を用いて微調整。
• 視覚言語モデルのアテンション層に対して部分的な微調整を実施し、推論および認識タスクのパフォーマンスを最適化。
• モデルの訓練およびハイパーパramータチューニング中に、高速かつスケーラブルな評価が可能となるように、Lingo-Judge指標を活用。

実験結果

リサーチクエスチョン

• RQ1 自動運転動画QAの文脈において、Lingo-Judgeのような自動指標が人間の評価とどの程度相関するか。
• RQ2 自動運転の動画QAにおける視覚言語モデルの最適なアーキテクチャとトレーニング戦略は何か。
• RQ3 ベースとなる言語モデル（例：Vicuna、Llama-2、Mistral）の選択が、LingoQAベンチマーク上でのパフォーマンスに与える影響はどの程度か。
• RQ4 自由形式の質問と回答を用いることで、動画QA評価の現実性と範囲はどの程度向上するか。
• RQ5 学習済み指標は、BLEU、METEOR、CIDEr、さらにはGPT-4でさえも上回ることができるか。

主な発見

• Lingo-Judgeは人間評価と0.950のスピアマン相関係数を達成し、GPT-4を含む従来の自動指標を著しく上回った。
• 最良のパフォーマンスを示した視覚言語モデルは、Vicuna-1.5-7Bを言語ヘッドに用い、アテンション層の部分的微調整とラテン融合を組み合わせたものであった。
• Vicuna-1.5-7Bは、Llama-2-7B や Mistral-7B といった他の7Bモデルを上回ったが、パラメータ数が同程度のOPT-7Bは顕著に低いパフォーマンスを示した。
• 419,900組のQAペアを含むLingoQAベンチマークにより、走行状況における推論、物体認識、行動の正当化、シーン記述の評価が可能になった。
• 評価指標は効率的で、訓練および開発の繰り返し工程で頻繁に使用可能であり、モデル設計の迅速な反復を可能にした。
• ベンチマークおよび評価スイートは公開されており、説明可能な自動運転分野の研究を加速する。