[論文レビュー] SQA3D: Situated Question Answering in 3D Scenes

Xiaojian Ma, Silong Yong+5 more|arXiv (Cornell University)|Oct 14, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

SQA3Dは、エゴセントリックな視点からテキストによる記述に基づき、エージェントが3次元空間的状況を理解し、複雑で推論を要する質問に答える能力を評価する、エマーブドAIのための新しいベンチマークを導入する。650のScanNetシーン、6.8kのユニークな状況、33.4kの質問を用いて評価されたが、最高性能を示したモデルでも47.20%の正確度にとどまり、人間の性能（90.06%）と比べて顕著なギャップが示され、3次元環境における状況的推論の難易度が浮き彫りになった。

ABSTRACT

We propose a new task to benchmark scene understanding of embodied agents: Situated Question Answering in 3D Scenes (SQA3D). Given a scene context (e.g., 3D scan), SQA3D requires the tested agent to first understand its situation (position, orientation, etc.) in the 3D scene as described by text, then reason about its surrounding environment and answer a question under that situation. Based upon 650 scenes from ScanNet, we provide a dataset centered around 6.8k unique situations, along with 20.4k descriptions and 33.4k diverse reasoning questions for these situations. These questions examine a wide spectrum of reasoning capabilities for an intelligent agent, ranging from spatial relation comprehension to commonsense understanding, navigation, and multi-hop reasoning. SQA3D imposes a significant challenge to current multi-modal especially 3D reasoning models. We evaluate various state-of-the-art approaches and find that the best one only achieves an overall score of 47.20%, while amateur human participants can reach 90.06%. We believe SQA3D could facilitate future embodied AI research with stronger situation understanding and reasoning capability.

研究の動機と目的

• エージェントが第一人称視点から3次元環境の空間的状況を理解し、その環境について推論を行う能力を評価するベンチマークが不足しているという問題に対処すること。
• 現在のマルチモodalモデルが、特に3次元シーン理解と空間的グランドイングにおいて、状況的推論にどのような限界を示しているかを調査すること。
• 空間的関係、ナビゲーション、一般的常識、マルチホップ推論を含む、広範な推論能力をテストする大規模かつ多様なデータセットを提供すること。
• 既存モデルにおける主な失敗モード、特に状況理解の分野を特定し、将来的な研究がより強固な3次元推論アーキテクチャの開発に向けて導かれるようにすること。

提案手法

• タスクでは、エージェントがまず、状況の自然言語記述に基づいて、3次元シーン内での自らの位置と姿勢を特定する必要がある。
• ベンチマークでは、シーンの文脈としてScanNetの3次元スキャンを使用し、エゴセントリックなビュー、動画、またはベッドアイビュー（BEV）を入力モodalとして用いる。
• 状況の記述は、アマゾンMechanical Turkを介してクラウドソーシングされ、650のシーンにわたる位置と姿勢の多様性を確保した。
• 質問は、単なる視覚的グランドイングを越えた推論をテストするようにキュレートされており、ナビゲーション、一般的常識、マルチホップ推論を含むもので、6.8kのユニークな状況にわたって33.4kの質問が用意された。
• データセットは、3次元スキャン、エゴセントリック動画、またはベッドアイビュー（BEV）表現を用いた評価をサポートしており、さまざまなマルチモーダルモデルとの互換性を確保している。
• 評価は、特定の視点に対して直接の監視が与えられないゼロショット設定で実施され、モデルは記述された状況に基づいて質問に答える必要がある。

実験結果

リサーチクエスチョン

• RQ1 現在のマルチモーダルモデルは、自然言語記述に基づいて、3次元シーン内のエージェントの位置と姿勢をどれほど正確に局所化できるか。
• RQ2 最先端のモデルは、3次元環境における空間的関係、ナビゲーション、一般的常識の理解を要する推論タスクで、どの程度の性能を示すか。
• RQ3 3次元シーン内での状況的推論タスクにおいて、最高性能を示した機械学習モデルと人間参加者との間の性能ギャップはどの程度か。
• RQ4 推論パイプラインのどの要素—特に状況理解と視覚的言語的推論—が、現在のモデルにおける主なボトル neck であるか。

主な発見

• SQA3Dで最高のパフォーマンスを示したモデルでも、全体の正確度は47.20%にとどまり、現在の3次元推論モデルに顕著な制限があることを示している。
• アマチュアの人間参加者は90.06%というはるかに高いパフォーマンスを示し、人間と機械との間の状況的推論における顕著なパフォーマンスギャップが明らかになった。
• 状況理解の難易度を下げる簡素化された設定を用いた実験では、モデルのパフォーマンスが向上したことが確認され、状況局所化が主要なボトル neck であることが裏付けられた。
• 既存モデルの失敗モードは主に、不正確な状況理解に起因しており、現在の3次元表現とグランドイングメカニズムが、強固な第一人称視点推論には不十分であることが示唆された。
• データセットは、マルチモーダルモデルが新しい位置やシーンに一般化する能力に欠けることを露呈しており、とくに複数ステップの推論や外部知識を要する状況で顕著である。
• 結果から、3次元シーン表現の向上と第一人称視点モデリングの強化が、エマーブドAIの発展にとって不可欠であることが示唆された。