[論文レビュー] EgoTaskQA: Understanding Human Tasks in Egocentric Videos

Baoxiong Jia, Ting Lei+2 more|arXiv (Cornell University)|Oct 8, 2022

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

EgoTaskQA は、エゴセントリック動画における目的志向的理解を評価するための新しい動画質問応答ベンチマークを導入し、現実世界のマルチエージェントタスク動画を対象に、記述的、予測的、説明的、反事実的の4種類の質問タイプを用いて評価を行う。LEMMAデータセットを拡張し、物体の状態、行動の依存関係、エージェントの信念に関するアノテーションを追加することで、最先端モデルと人間のパフォーマンスの間で顕著なギャップが明らかになった。行動、意図、因果関係に関する推論において顕著な差が観察された。

ABSTRACT

Understanding human tasks through video observations is an essential capability of intelligent agents. The challenges of such capability lie in the difficulty of generating a detailed understanding of situated actions, their effects on object states (i.e., state changes), and their causal dependencies. These challenges are further aggravated by the natural parallelism from multi-tasking and partial observations in multi-agent collaboration. Most prior works leverage action localization or future prediction as an indirect metric for evaluating such task understanding from videos. To make a direct evaluation, we introduce the EgoTaskQA benchmark that provides a single home for the crucial dimensions of task understanding through question-answering on real-world egocentric videos. We meticulously design questions that target the understanding of (1) action dependencies and effects, (2) intents and goals, and (3) agents' beliefs about others. These questions are divided into four types, including descriptive (what status?), predictive (what will?), explanatory (what caused?), and counterfactual (what if?) to provide diagnostic analyses on spatial, temporal, and causal understandings of goal-oriented tasks. We evaluate state-of-the-art video reasoning models on our benchmark and show their significant gaps between humans in understanding complex goal-oriented egocentric videos. We hope this effort will drive the vision community to move onward with goal-oriented video understanding and reasoning.

研究の動機と目的

• エゴセントリック動画における目的志向的理解のための直接的な評価ベンチマークの不足を解消すること。
• 多様な質問タイプを通じて、空間的・時間的・因果的推論の系統的評価を可能にすること。
• LEMMAデータセットに物体の状態、行動の依存関係、マルチエージェント関係に関するアノテーションを追加すること。
• 最先端の動画推論モデルが協働的状況下での行動効果、エージェントの意図、信念を理解できるかを評価すること。
• 直接的・間接的参照を含むバランスの取れた、手続き的に生成された質問を通じて、モデルの弱みを診断すること。

提案手法

• 物体の状態、人間-物体インタラクション、マルチエージェント関係、因果的行動依存関係に関する詳細なアノテーションを LEMMA データセットに追加する。
• 行動効果、意図、信念を対象とした、記述的（状態は？）、予測的（何が起こる？）、説明的（何が原因か？）、反事実的（もし～なら？）の4種類の質問を生成し、異なる推論次元を検証する。
• 行動や物体への直接的・間接的参照を用いることで、誤った相関関係を回避し、合成的推論をテストする。
• 推論タイプごとに回答の分布をバランスさせ、間接的参照の理解をしっかり評価できるようにトレイン/テスト分割を設計する。
• AMTテンプレートを用いた体系的なアノテーションパイプラインを採用し、元の動画データとコードを公開する。
• CC BY-NC-SA ライセンスの下でベンチマークを公開し、一般のアクセスと今後の貢献を促進する。

実験結果

リサーチクエスチョン

• RQ1 動画推論モデルは、エゴセントリック動画における行動の依存関係とそれによる物体状態への影響をどれほど正しく理解できるか？
• RQ2 モデルは、目的志向タスクの視覚的観察から、エージェントの意図や目的をどれほど正確に推定できるか？
• RQ3 協働的でマルチエージェントな状況において、モデルは視覚的手がかりを用いて他のエージェントの信念を推論できるか？
• RQ4 因果的推論を要する反事実的および説明的質問において、モデルのパフォーマンスはどの程度か？
• RQ5 現在のモデルは、複雑で状況に依存する目的志向行動を理解する際に、どのような主な失敗モードを示しているか？

主な発見

• 最先端の動画推論モデルは、EgoTaskQA において人間のパフォーマンスと比較して顕著な性能ギャップを示しており、特に因果的および反事実的推論において顕著である。
• モデルは反事実的質問に対して最も困難を示しており、仮説的状況や因果的依存関係の推論能力に限界があることが示唆された。
• 因果的推論を要する説明的質問においても、モデルのパフォーマンスは人間レベルに比べて著しく低いままであり、モデル推論における主要な制限要因が明らかになった。
• 記述的および予測的質問においては中程度のパフォーマンスを示すが、依然として人間のパフォーマンスに劣っており、時間的・空間的理解の向上の余地があることが示された。
• 診断分析から、行動や物体への間接的参照は大きな課題であることが判明し、合成的推論における欠陥が示された。
• 本ベンチマークは、マルチエージェント協働理解、意図の帰属、信念モデリングにおけるモデルの弱みを効果的に特定できた。