[논문 리뷰] CLEVRER: CoLlision Events for Video REpresentation and Reasoning

Kexin Yi, Chuang Gan외 5명|arXiv (Cornell University)|2019. 10. 03.

Multimodal Machine Learning Applications참고 문헌 60인용 수 70

한 줄 요약

CLEVRER는 합성 영상 데이터 세트를 제공하며, 시간적・인과 추론을 연구하기 위한 ground-truth 운동 흔적과 이벤트를 제공하고, 설명적, 해설적, 예측적, 그리고 반사실적 작업 전반에서 벤치마크를 수행하며, 다양한 베이스라인과 신경-기호 모델의 성능을 평가합니다.

ABSTRACT

The ability to reason about temporal and causal events from videos lies at the core of human intelligence. Most video reasoning benchmarks, however, focus on pattern recognition from complex visual and language input, instead of on causal structure. We study the complementary problem, exploring the temporal and causal structures behind videos of objects with simple visual appearance. To this end, we introduce the CoLlision Events for Video REpresentation and Reasoning (CLEVRER), a diagnostic video dataset for systematic evaluation of computational models on a wide range of reasoning tasks. Motivated by the theory of human casual judgment, CLEVRER includes four types of questions: descriptive (e.g., "what color"), explanatory ("what is responsible for"), predictive ("what will happen next"), and counterfactual ("what if"). We evaluate various state-of-the-art models for visual reasoning on our benchmark. While these models thrive on the perception-based task (descriptive), they perform poorly on the causal tasks (explanatory, predictive and counterfactual), suggesting that a principled approach for causal reasoning should incorporate the capability of both perceiving complex visual and language inputs, and understanding the underlying dynamics and causal relations. We also study an oracle model that explicitly combines these components via symbolic representations.

연구 동기 및 목표

• 패턴 인식 너머의 비디오에서의 시간적 및 인과 추론 연구를 통제된 합성 데이터세트로 동기 부여합니다.
• ground-truth 운동 흔적과 이벤트 이력을 포함한 데이터세트를 제공하여 다양한 추론 유형에서 모델의 능력을 진단합니다.
• 다양한 베이스라인과 신경-기호 동적 추론 모델을 평가하여 인과 작업에서의 강점과 한계를 식별합니다.
• 객체 중심 인지, 다이나믹스 모델링, 심볼릭 추론의 통합을 촉진하여 강건한 비디오 이해를 도모합니다.

제안 방법

• 충돌하는 물체의 완전하게 제어된 합성 20,000개 비디오 데이터세트와 300,000건 이상의 질문과 답변을 도입합니다.
• 진단 평가를 위해 각 비디오에ground-truth 객체 운동 흔적과 이벤트 이력을 주석으로 달아 제공합니다.
• 각 각의 질문 유형(설명적, 해설적, 예측적, 반사실적)을 정의하고 이를 기능 프로그램과 짝지어 제시합니다.
• CLEVRER에서 언어만 사용한 베이스라인, 비디오 QA, 그리고 구성적 시각 추론을 포함한 베이스라인 모델을 평가합니다."
• 신경-기호 동적 추론(NS-DR)을 제안합니다. 이는 비디오 프레임 파서, 신경 다이나믹스 예측기, 질문 파서, 그리고 심볼릭 프로그램 실행기로 구성됩니다.

실험 결과

연구 질문

• RQ1 현재 모델이 시간적으로 구조화된 비디오에서 설명적, 해설적, 예측적, 그리고 반사실적 추론을 얼마나 잘 수행할 수 있는가?
• RQ2 객체 중심의 표현과 다이나믹스 모델링이 인과 추론 작업을 얼마나 개선하는가?
• RQ3 지각, 다이나믹스, 언어를 심볼릭 추론에 바인딩하는 신경-기호적 접근이 CLEVRER에서 엔드-투-엔드 베이스라인보다 성능이 우수한가?
• RQ4 순수하게 지각적이거나 순수하게 심볼릭한 접근 방식의 비디오 기반 인과 추론 한계는 무엇인가?
• RQ5 질문 파싱을 위한 프로그램 수와 같은 학습 데이터가 추론 작업 전반의 성능에 어떤 영향을 미치는가?

주요 결과

• 설명적 질문은 강력한 지각 및 구성적 추론을 갖춘 모델이 가장 잘 지원하는 반면, 언어만을 이용한 베이스라인은 성능이 저조합니다.
• 해설적, 예측적 및 반사실적 질문의 원인은 시각 지각만으로는 부족하며 객체 중심 표현과 다이나믹스 모델링이 필요합니다.
• 객체 인식 특성(MAC (V+))은 비객체 인식 변형에 비해 인과 작업에서 성능을 크게 향상시킵니다.
• NS-DR은 설명적 질문에서 높은 정확도(88.1%)를 달성하고, 해설적(87.6%), 예측적(79.6%), 반사실적(82.9%) 질문에서 상당한 이점을 보입니다.
• 비-이벤트(NS-DR NE) 변형도 비슷한 성능을 보이며, 다이나믹스 모델링은 대안 입력으로도 조정될 수 있음을 시사합니다.
• 질문 파서를 1,000개의 프로그램으로 학습시키는 것이 NS-DR의 완전한 인과 능력에 충분합니다.