[논문 리뷰] EgoTaskQA: Understanding Human Tasks in Egocentric Videos

Baoxiong Jia, Ting Lei외 2명|arXiv (Cornell University)|2022. 10. 08.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

EgoTaskQA는 실제 다중 에이젠트 작업 비디오를 대상으로 기능적, 예측적, 설명적, 반대가정적 질문 유형을 사용하여 원시적인 다중 에이젠트 작업 비디오에서 목표 지향적 이해를 평가하기 위한 새로운 비디오 질의응답 벤치마크를 제안한다. LEMMA 데이터셋을 개선하여 물체 상태, 동작 의존성, 에이젠트 신념에 대한 주석을 추가함으로써, 행동, 의도, 인과 관계에 대한 추론에서 최신 모델과 인간 간의 상당한 성능 격차를 드러낸다.

ABSTRACT

Understanding human tasks through video observations is an essential capability of intelligent agents. The challenges of such capability lie in the difficulty of generating a detailed understanding of situated actions, their effects on object states (i.e., state changes), and their causal dependencies. These challenges are further aggravated by the natural parallelism from multi-tasking and partial observations in multi-agent collaboration. Most prior works leverage action localization or future prediction as an indirect metric for evaluating such task understanding from videos. To make a direct evaluation, we introduce the EgoTaskQA benchmark that provides a single home for the crucial dimensions of task understanding through question-answering on real-world egocentric videos. We meticulously design questions that target the understanding of (1) action dependencies and effects, (2) intents and goals, and (3) agents' beliefs about others. These questions are divided into four types, including descriptive (what status?), predictive (what will?), explanatory (what caused?), and counterfactual (what if?) to provide diagnostic analyses on spatial, temporal, and causal understandings of goal-oriented tasks. We evaluate state-of-the-art video reasoning models on our benchmark and show their significant gaps between humans in understanding complex goal-oriented egocentric videos. We hope this effort will drive the vision community to move onward with goal-oriented video understanding and reasoning.

연구 동기 및 목표

• 에고세트릭 비디오에서 목표 지향적 비디오 이해를 위한 직접 평가 벤치마크 부족 문제를 해결하기 위해.
• 다양한 질문 유형을 통해 공간적, 시간적, 인과적 추론 능력을 체계적으로 평가하기 위해.
• 물체 상태, 동작 의존성, 다중 에이젠트 관계에 대한 주석을 포함하여 LEMMA 데이터셋을 확장하기 위해.
• 공동 작업 환경에서 행동 영향력, 에이젠트의 의도, 신념을 이해하는 능력에 대해 최신 비디오 추론 모델을 평가하기 위해.
• 직접적 및 간접적 참조를 포함한 균형 잡힌 절차적 생성 질문을 통해 모델의 약점을 진단하기 위해.

제안 방법

• 물체 상태, 인간-물체 상호작용, 다중 에이젠트 관계, 인과적 동작 의존성에 대한 세밀한 주석을 추가하여 LEMMA 데이터셋을 확장한다.
• 행동 영향력, 의도, 신념을 타겟으로 하는 다양한 추론 차원을 탐색하기 위해 기능적(무엇 상태?), 예측적(무엇이 일어날 것인가?), 설명적(무엇이 그것을 일으켰는가?), 반대가정적(만약 어떤 상황이었을까?)의 네 가지 질문 유형을 생성한다.
• 모델의 복합적 추론 능력을 시험하고 임의의 상관관계를 방지하기 위해 동작과 물체에 대한 직접적 및 간접적 참조를 사용한다.
• 추론 유형 및 답변 분포를 균형 잡고 간접적 참조 이해 능력을 신뢰성 있게 평가하기 위해 훈련/테스트 분할을 설계한다.
• AMT 템플릿을 사용한 체계적인 주석 파이프라인을 구현하고 원시 비디오 데이터와 코드를 공개한다.
• 공개 접근과 향후 기여를 위해 CC BY-NC-SA 라이선스 하에 벤치마크를 배포한다.

실험 결과

연구 질문

• RQ1 비디오 추론 모델은 에고세트릭 비디오에서 동작 의존성과 물체 상태에 미치는 영향을 얼마나 잘 이해할 수 있는가?
• RQ2 모델은 목표 지향적 작업의 시각적 관찰을 바탕으로 에이젠트의 의도와 목표를 얼마나 잘 추론할 수 있는가?
• RQ3 공동 작업 환경에서 다른 에이젠트의 신념을 시각적 신호를 기반으로 추론할 수 있는가?
• RQ4 모델은 인과적 추론이 필요한 반대가정적 및 설명적 질문에서 어떻게 성능을 보이는가?
• RQ5 현재 모델은 복잡하고 맥락에 기반한 목표 지향적 행동을 이해하는 데에서 어떤 주요 실패 유형을 보이는가?

주요 결과

• 최신 비디오 추론 모델은 EgoTaskQA에서 인간 성능에 비해 상당한 성능 격차를 보이며, 특히 인과적 및 반대가정적 추론에서 두드러진다.
• 모델은 반대가정적 질문에서 가장 어려움을 겪으며, 가정적 시나리오와 인과적 의존성에 대한 추론 능력이 제한되어 있음을 시사한다.
• 인과적 추론이 필요한 설명적 질문에서의 성능는 인간 수준에 비해 여전히 크게 낮아, 모델 추론의 핵심적 한계를 드러낸다.
• 기능적 및 예측적 질문에서는 중간 정도의 성능를 보이지만 여전히 인간 수준에 못 미치며, 시간적 및 공간적 이해 능력 향상 여지가 있음을 시사한다.
• 진단 분석 결과 간접적 참조는 행동과 물체에 대해 큰 과제를 제기하며, 복합적 추론 능력의 부족을 시사한다.
• 벤치마크는 다중 에이젠트 협업 이해, 의도 할당, 신념 모델링에서 모델의 약점을 성공적으로 진단하였다.