[论文解读] EgoTaskQA: Understanding Human Tasks in Egocentric Videos

Baoxiong Jia, Ting Lei+2 more|arXiv (Cornell University)|Oct 8, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

EgoTaskQA 引入了一个新的视频问答基准，用于评估在第一视角视频中目标导向理解的能力，该基准基于真实世界多智能体任务视频，涵盖四种问题类型——描述性、预测性、解释性和反事实性问题。它在 LEMMA 数据集的基础上，增加了对象状态、动作依赖关系和智能体信念的注释，揭示了当前最先进模型与人类在动作、意图和因果关系推理方面存在显著性能差距。

ABSTRACT

Understanding human tasks through video observations is an essential capability of intelligent agents. The challenges of such capability lie in the difficulty of generating a detailed understanding of situated actions, their effects on object states (i.e., state changes), and their causal dependencies. These challenges are further aggravated by the natural parallelism from multi-tasking and partial observations in multi-agent collaboration. Most prior works leverage action localization or future prediction as an indirect metric for evaluating such task understanding from videos. To make a direct evaluation, we introduce the EgoTaskQA benchmark that provides a single home for the crucial dimensions of task understanding through question-answering on real-world egocentric videos. We meticulously design questions that target the understanding of (1) action dependencies and effects, (2) intents and goals, and (3) agents' beliefs about others. These questions are divided into four types, including descriptive (what status?), predictive (what will?), explanatory (what caused?), and counterfactual (what if?) to provide diagnostic analyses on spatial, temporal, and causal understandings of goal-oriented tasks. We evaluate state-of-the-art video reasoning models on our benchmark and show their significant gaps between humans in understanding complex goal-oriented egocentric videos. We hope this effort will drive the vision community to move onward with goal-oriented video understanding and reasoning.

研究动机与目标

• 解决第一视角视频中目标导向视频理解缺乏直接评估基准的问题。
• 通过多样化的提问类型，实现对模型空间、时间与因果推理能力的系统性评估。
• 在 LEMMA 数据集基础上，增加对象状态、动作依赖关系和多智能体关系的注释。
• 评估最先进视频推理模型在理解动作影响、智能体意图和信念方面的能力，特别是在协作场景中。
• 通过平衡且程序化生成的问题（包含直接与间接指代），诊断模型的弱点。

提出的方法

• 在 LEMMA 数据集基础上，增加细粒度的注释，包括对象状态、人机交互、多智能体关系以及因果动作依赖关系。
• 生成四种问题类型——描述性问题（状态如何？）、预测性问题（将会发生什么？）、解释性问题（原因是什么？）和反事实性问题（如果……会怎样？），以探测不同的推理维度。
• 使用对动作和对象的直接与间接指代，避免虚假相关性，并测试组合推理能力。
• 通过推理类型平衡答案分布，并设计训练/测试集划分，以确保对间接指代理解能力的稳健评估。
• 采用系统化的注释流程，使用 AMT 模板，并公开原始视频数据与代码。
• 在 CC BY-NC-SA 许可下发布该基准，以供公众访问并支持未来贡献。

实验结果

研究问题

• RQ1 视频推理模型在第一视角视频中，对动作依赖关系及其对对象状态影响的理解能力如何？
• RQ2 模型在多大程度上能从目标导向任务的视觉观察中推断出智能体的意图和目标？
• RQ3 在协作性多智能体场景中，模型能否利用视觉线索推理其他智能体的信念？
• RQ4 模型在需要因果推理的反事实和解释性问题上的表现如何？
• RQ5 当前模型在理解复杂、情境化、目标导向动作时的主要失败模式是什么？

主要发现

• 最先进视频推理模型在 EgoTaskQA 上的表现与人类水平相比存在显著差距，尤其在因果推理和反事实推理方面。
• 模型在反事实问题上表现最差，表明其在推理假设情景和因果依赖关系方面能力有限。
• 解释性问题（需要因果推理）的性能仍远低于人类水平，凸显了模型推理能力的关键局限。
• 模型在描述性和预测性问题上表现中等，但仍低于人类水平，表明其在时空理解方面仍有改进空间。
• 诊断分析表明，对动作和对象的间接指代构成主要挑战，表明模型在组合推理方面存在缺陷。
• 该基准成功识别出模型在理解多智能体协作、意图归因和信念建模方面的弱点。