[論文レビュー] VideoNavQA: Bridging the Gap between Visual and Embodied Question Answering

Cătălina Cangea, Eugene Belilovsky+2 more|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 10

ひとこと要約

本論文は、3次元環境における高品質な動画トラジェクトリを提供することで、エムボディッド質疑応答（EQA）における視覚的推論とナビゲーションを分離する新しいベンチマーク、VideoNavQAを紹介する。複雑で多様な質問に対して最先端のVQAモデルを評価した結果、最適なナビゲーションが提供されても、視覚的推論は依然として大きな課題であることが判明し、最高のモデルでも全テストセットで64.47%の正確性にとどまっている。

ABSTRACT

Embodied Question Answering (EQA) is a recently proposed task, where an agent is placed in a rich 3D environment and must act based solely on its egocentric input to answer a given question. The desired outcome is that the agent learns to combine capabilities such as scene understanding, navigation and language understanding in order to perform complex reasoning in the visual world. However, initial advancements combining standard vision and language methods with imitation and reinforcement learning algorithms have shown EQA might be too complex and challenging for these techniques. In order to investigate the feasibility of EQA-type tasks, we build the VideoNavQA dataset that contains pairs of questions and videos generated in the House3D environment. The goal of this dataset is to assess question-answering performance from nearly-ideal navigation paths, while considering a much more complete variety of questions than current instantiations of the EQA task. We investigate several models, adapted from popular VQA methods, on this new benchmark. This establishes an initial understanding of how well VQA-style methods can perform within this novel EQA paradigm.

研究の動機と目的

• ナビゲーションが簡素化された状況で、現在のVQA手法が豊かで動的な3次元環境における複雑な視覚的推論をどれだけ処理できるかを調査すること。
• ナビゲーションを視覚的推論から分離することで、エムボディッド質疑応答（EQA）におけるパフォーマンスのベースラインを確立すること。
• 多様で高品質な動画ベースのデータセットを用いて、理想状態の下でのEQAの実現可能性を評価すること。
• 動画ストリームにおける複雑でマルチホップな推論タスクに最も一般化するVQAアーキテクチャを特定すること。

提案手法

• VideoNavQAデータセットはHouse3D環境を用いて構築され、ほぼ最適なナビゲーション経路を有する動画トラジェクトリが生成された。
• 各データサンプルは、1人称視点からの動画クリップと、視覚的コンテンツに関する自然言語の質問から構成される。
• 存在、数え上げ、色、位置、比較など8つのカテゴリに分類された、合計28種類の質問タイプが定義された。
• LSTM、BoW、Concat-CNN2D/3D、FiLM-GP/AT、マルチホップ、MACネットワークを含む複数のVQAモデルが、このデータセット上で微調整された。
• 標準的なVQAメトリクスを用いてモデルを評価し、二値（Yes/No）、オープンエンド（Other）、数値（Num）の質問タイプごとの正確性を測定した。
• 質問カテゴリごとのパフォーマンスを分析することで、モデルの特定の推論サブタスクにおける強みと弱みを評価した。

実験結果

リサーチクエスチョン

• RQ1 ナビゲーションがEQAタスクから除外された場合、現在のVQAモデルは複雑な視覚的推論タスクで強力なパフォーマンスを達成できるか？
• RQ2 3次元動画環境におけるさまざまな種類の視覚的推論質問に対して、VQAモデルのパフォーマンスはどのように変動するか？
• RQ3 この新しいベンチマークにおいて、言語のみのモデルと視覚言語モデルの間のパフォーマンスギャップはどの程度か？
• RQ4 どのモデルアーキテクチャが動画ベースの推論における時空間的文脈を最も効果的に捉えられるか？
• RQ5 視覚入力の品質（すなわち、最適なトラジェクトリ）が、ナビゲーションの課題が存在しない状況での視覚的推論をどの程度促進するか？

主な発見

• 最高のパフォーマンスを示したモデル、Concat-CNN2Dは、全VideoNavQAテストセットで64.47%の正確性を達成し、ベースラインのBoWモデル（49.02%）を顕著に上回った。
• FiLM-ATおよびFiLM-GPモデルは、それぞれ64.08%および63.79%の正確性を示し、複雑な推論タスクにおいて優れた性能を発揮した。
• MACネットワークは、物体の位置特定および数え上げ質問において最高のパフォーマンスを示し、50%を超える正確性を達成した。また、色の識別においても他を上回った。
• すべてのモデルが存在質問（70%以上の正確性）で最高のスコアを記録したが、物体の種別特定が最も困難なカテゴリであった。
• 時系列マルチホップモデルはLSTMを7%上回り、63.53%の正確性を達成した。これは、順次的な視覚入力に対する改善された推論能力を示している。
• Concat-CNN2Dは、Yes/NoおよびOther質問タイプで最高の正確性を示し、それぞれ73.50%および49.20%を達成した。これは、二値およびオープンエンドのクエリにわたる優れた一般化能力を示している。