[論文レビュー] NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions

Junbin Xiao, Xindi Shang+2 more|arXiv (Cornell University)|May 18, 2021

Multimodal Machine Learning Applications参考文献 63被引用数 10

ひとこと要約

NExT-QAは、5,440本の動画と52,000組の質問・回答ペアを備えた大規模で手作業で整備された動画質問応答ベンチマークを提供し、記述的認識を超えて因果的および時間的行動推論へと動画理解を進める。記述的質問では優れた性能を示すが、最先端モデルは因果的および時間的推論において顕著な失敗を示しており、特に自由記述型QAにおいて顕著で、モデルの理解が答え選択の範囲を越えて根本的なギャップを露呈している。

ABSTRACT

We introduce NExT-QA, a rigorously designed video question answering (VideoQA) benchmark to advance video understanding from describing to explaining the temporal actions. Based on the dataset, we set up multi-choice and open-ended QA tasks targeting causal action reasoning, temporal action reasoning, and common scene comprehension. Through extensive analysis of baselines and established VideoQA techniques, we find that top-performing methods excel at shallow scene descriptions but are weak in causal and temporal action reasoning. Furthermore, the models that are effective on multi-choice QA, when adapted to open-ended QA, still struggle in generalizing the answers. This raises doubt on the ability of these models to reason and highlights possibilities for improvement. With detailed results for different question types and heuristic observations for future works, we hope NExT-QA will guide the next generation of VQA research to go beyond superficial scene description towards a deeper understanding of videos. (The dataset and related resources are available at https://github.com/doc-doc/NExT-QA.git)

研究の動機と目的

• 動画の記述的認識から、因果的および時間的行動のより深い説明への動画理解を進める。
• 現実世界の動画コンテンツにおける因果的および時間的推論を厳密に評価できるベンチマークの不足を解消する。
• 表面的認識を超えた推論をターゲットにした複数選択式および自由記述型QAタスクを導入することで、既存のVideoQAモデルに挑戦する。
• 複雑な動画理解におけるモデルの一般化能力および推論能力を評価するための診断ツールを提供する。
• 将来的な研究が、行動の順序とその背後にある原因を真正に理解するモデルの構築に向かうように導く。

提案手法

• 5,440本の実世界の動画はVidORから収集され、手作業で注釈された質問・回答ペアが因果的、時間的、記述的の3カテゴリに分類されている。
• 2種類のタスクタイプを定義：5つの候補回答を提示する複数選択式QAと、動画と質問のヒントに基づいて自由記述の回答を生成する必要がある自由記述型QA。
• HGA、EVQA、PSAC+、STVQAを含む最先端のVideoQAモデルを用いて、両方のタスクタイプで包括的な評価を実施。
• 複数選択式QAには正答率、自由記述型QAにはWUPSスコアを用い、生成された回答の意味的類似度を評価。
• 視覚的特徴は外観および運動エンコーダーを用いて抽出され、言語表現にはBERTとGloVeが言語モデリングに使用されている。
• グラフベースのモデル（例：HGA）を用いて、行動とオブジェクト間の時間的および因果的関係を明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 最先端のVideoQAモデルは、記述的質問を超えて、動画行動における因果的および時間的関係を推論できるか。
• RQ2 複数選択式と自由記述型QAタスクは、推論および言語生成におけるモデルの限界をどのように異なる形で露呈するか。
• RQ3 BERTのような事前学習済み言語モデルは、GloVeのような単語埋め込みと比較して、因果的および時間的質問の推論においてどの程度性能を向上させるか。
• RQ4 複数選択式QAで良好な性能を示すモデルが、自由記述型QAに適応した際に失敗するのはなぜか。これはモデルの推論能力に何を示唆するか。
• RQ5 視覚的特徴の統合戦略（外観対運動）は、因果的および時間的推論タスクのパフォーマンスにどのように影響するか。

主な発見

• 最良のVideoQAモデルは記述的質問（例：物体や行動の認識）では優れた結果を達成するが、因果的および時間的複数選択式質問では10%のパフォーマンスギャップを示している。
• 自由記述型QAでは、因果的および時間的質問のパフォーマンスギャップが約30%にまで拡大しており、推論および生成における深刻な限界を示している。
• HGAのようなグラフベースのモデルは因果的および時間的推論で優れたパフォーマンスを示しており、動画内の関係構造をモデル化する価値があることを示唆している。
• 事前学習済みBERT表現は、GloVeよりも推論タスクで優れた性能を示しており、特に因果的および時間的質問において顕著であるが、BERTはテキストQAに偏っているにもかかわらず。
• 複数選択式QAで学習したモデルは自由記述型QAで著しく困難を示しており、答え選択に依存している可能性があり、根拠に基づく推論や言語生成に欠けている可能性を示唆している。
• 長文の質問や回答に対して一貫性があり正確な回答を生成できないことは、視覚的特徴が存在しても言語理解および生成の弱みが顕著であることを示している。