[論文レビュー] NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario

Tianwen Qian, Jingjing Chen+3 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、34,000件のシーンと、シーングラフと手作業で作成したテンプレートを用いてnuScenesから抽出された460,000件の質問・回答ペアを活用して、自動運転を想定した大規模なマルチモーダル視覚質疑応答（VQA）ベンチマーク「NuScenes-QA」を紹介する。このベンチマークはマルチフレーム、マルチモーダル（画像とLiDAR）データを統合し、複雑な空間的・動的推論を評価するもので、アブレーションスタディにより、真値のバウンディングボックスが性能を顕著に向上させる一方で、検出されたボックスは検出ノイズのため性能を低下させる可能性があることが示された。

ABSTRACT

We introduce a novel visual question answering (VQA) task in the context of autonomous driving, aiming to answer natural language questions based on street-view clues. Compared to traditional VQA tasks, VQA in autonomous driving scenario presents more challenges. Firstly, the raw visual data are multi-modal, including images and point clouds captured by camera and LiDAR, respectively. Secondly, the data are multi-frame due to the continuous, real-time acquisition. Thirdly, the outdoor scenes exhibit both moving foreground and static background. Existing VQA benchmarks fail to adequately address these complexities. To bridge this gap, we propose NuScenes-QA, the first benchmark for VQA in the autonomous driving scenario, encompassing 34K visual scenes and 460K question-answer pairs. Specifically, we leverage existing 3D detection annotations to generate scene graphs and design question templates manually. Subsequently, the question-answer pairs are generated programmatically based on these templates. Comprehensive statistics prove that our NuScenes-QA is a balanced large-scale benchmark with diverse question formats. Built upon it, we develop a series of baselines that employ advanced 3D detection and VQA techniques. Our extensive experiments highlight the challenges posed by this new task. Codes and dataset are available at https://github.com/qiantianwen/NuScenes-QA.

研究の動機と目的

• 自動運転のシナリオに特化した大規模でマルチモーダルかつマルチフレームのVQAベンチマークが不足しているという問題に対処すること。
• 既存のVQAベンチマークと、自動車の街中での現実世界の複雑な要件を満たすステレオ視覚認識のギャップを埋めること。
• 3D検出アノテーションから、多様でバランスが取れ、現実的であるVQAデータをスケーラブルでプログラム可能なパイプラインで生成すること。
• 屋外で動的なドライブ環境におけるマルチモーダルかつマルチフレームVQAモデルの評価と発展の基盤を確立すること。

提案手法

• nuScenesの3次元バウンディングボックスアノテーションからシーングラフを構築し、物体をノード、空間的関係をエッジとして表現する。
• 属性、物体、関係性のパラメータを用いて、存在、数え上げ、比較、属性に基づくクエリをカバーする質問テンプレートのセットを設計する。
• シーングラフからのパラメータのサンプリングと幾何学的・空間的推論を用いて正しい答えを推論することで、プログラム的に質問・回答ペアを生成する。
• 2次元画像と3次元点群を統合するマルチモーダル統合フレームワークを活用し、BEV（上空視点）特徴抽出と回転したRoIプーリングを用いて空間的に正確な特徴クロップを実現する。
• クロップされたBEV特徴に対して平均プーリングを適用することで構造的情報を保持し、空間的推論タスクにおいてマックスプーリングを上回る性能を示した。
• 3D検出モデル（例：CenterPoint）とVQAヘッド（例：MCAN）を統合して強力なベースラインを構築し、真値のバウンディングボックスと予測されたボックスの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動運転シナリオにおいて、真値の3次元バウンディングボックスと検出された3次元バウンディングボックスを用いた場合のVQAモデルの性能にどのような差が生じるか？
• RQ2 カメラとLiDARデータのマルチモーダル統合は、複雑な街中シーンにおけるVQA精度をどの程度向上させるか？
• RQ3 BEVベースのVQAシステムにおいて、異なる特徴クロップおよびプーリング戦略がモデル性能に与える影響は何か？
• RQ4 シーングラフに基づくテンプレート駆動型のデータ生成が、VQAの質問フォーマットの多様性とバランスに与える影響は何か？
• RQ5 既存の2次元および3次元VQAモデルは、マルチフレーム、屋外、動的なドライブ環境に一般化可能か、それとも新たなアーキテクチャの開発が必要か？

主な発見

• 真値の3次元バウンディングボックスを用いることで、VQAの正確性が70.8%から84.3%に向上し、空間的推論においてその重要性が明確になった。
• 検出された3次元バウンディングボックスは、現在の3次元検出モデルのノイズのため、性能をわずかに0.6%低下させる可能性がある。
• 回転したボックスに基づく特徴クロップは、外接矩形によるクロップよりも全体の正確性で0.8%高い性能を示し、特にバスやトラックのような細長い物体で効果的だった。
• クロップされたBEV特徴に対する平均プーリングは、マックスプーリングよりも0.6%高い正確性を示し、構造的特徴のより良い保持が示された。
• 提案されたNuScenes-QAベンチマークには34,000件のシーンと460,000件の質問・回答ペアが含まれており、うち377,000件が学習用、83,000件がテスト用であり、質問タイプの広範なカバレッジが確保されている。
• ベンチマークはマルチモーダルかつマルチフレームVQAにおける顕著な課題を明らかにし、自動運転におけるより優れた認識と推論モデルの開発の必要性を示唆している。