[논문 리뷰] CLEVRER-Humans: Describing Physical and Causal Events the Human Way

Jiayuan Mao, Xuelin Yang외 3명|arXiv (Cornell University)|2023. 10. 05.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

CLEVRER-Humans는 물리적 사건과 그 인과 관계에 대한 인간 주석 데이터셋을 제공하여 CLEVRER를 밀집하고 다양하며 인간이 생성한 사건 설명과 등급화된 인과 판단으로 확장하고, 세 단계의 데이터 수집 파이프라인을 도입합니다.

ABSTRACT

Building machines that can reason about physical events and their causal relationships is crucial for flexible interaction with the physical world. However, most existing physical and causal reasoning benchmarks are exclusively based on synthetically generated events and synthetic natural language descriptions of causal relationships. This design brings up two issues. First, there is a lack of diversity in both event types and natural language descriptions; second, causal relationships based on manually-defined heuristics are different from human judgments. To address both shortcomings, we present the CLEVRER-Humans benchmark, a video reasoning dataset for causal judgment of physical events with human labels. We employ two techniques to improve data collection efficiency: first, a novel iterative event cloze task to elicit a new representation of events in videos, which we term Causal Event Graphs (CEGs); second, a data augmentation technique based on neural language generative models. We convert the collected CEGs into questions and answers to be consistent with prior work. Finally, we study a collection of baseline approaches for CLEVRER-Humans question-answering, highlighting the great challenges set forth by our benchmark.

연구 동기 및 목표

• 비heuristic 규칙 너머의 비디오에서 물리 및 인과 추론에 대한 인간 중심 평가를 자극한다.
• 물리적 사건에 대한 다양하고 인간이 라벨링한 설명을 생성하여 근거 있는 언어 이해와 인과성을 연구한다.
• 질문-응답 쌍으로 변환할 수 있는 밀집된 인간 주석 인과 그래프 표현(CEGs)을 제공한다.
• 반복적 cloze 주석과 신경학적 설명 보강을 결합한 데이터 효율적 파이프라인을 제안한다.

제안 방법

• 사건의 노드(사건에 대한 설명)와 방향성 간선(인간 판단 인과 영향) 및 등급 점수를 갖는 Causal Event Graphs(CEGs)를 도입한다.
• Seed CLEVRER 이벤트에서 사건 설명을 확장하는 반복적 이벤트 클로즈(task)를 사용한다(Stage I).
• 단일 객체 및 쌍 간 이벤트 설명을 보강하기 위해 신경 궤적 기반 생성기를 학습한다(Stage II).
• 품질, 다양성 및 비디오 궤적과의 정렬성을 보장하기 위한 후처리 및 인간 필터링을 적용한다.
• 증강 데이터를 사람의 간선 표기(Stage III)를 통해 밀집한 CEG로 응축한다.
• CEGs를 CLEVRER-호환 QA 쌍으로 변환하기 위해 정답/오답 옵션을 샘플링하여 객관식 문제를 형성한다.

실험 결과

연구 질문

• RQ1 사람들이 비 heuristic 규칙을 넘어 물리적 이벤트의 인과 관계를 비디오에서 어떻게 설명하고 판단하는가?
• RQ2 밀집된 인간 주석 Causal Event Graphs(CEGs) 프레임워크를 Robust QA 데이터 세트로 비디오 추론에 변환할 수 있는가?
• RQ3 신경 설명 생성기와 제한된 인간 라벨링이 대규모로 다양하고 고품질의 이벤트 설명과 인과 주석을 제공하는가?
• RQ4 인간 주석 인과 판단을 기계 추론 모델로 이전할 때 어떤 도전과제가 나타나는가?

주요 결과

모델	학습	Per-Option (CLEVRER)	Per-Question (CLEVRER)	Per-Option (CLEVRER-Humans)	Per-Question (CLEVRER-Humans)
Best Guess	N/A	50.2	16.5	50.7	31.6
Lang-Only	Scratch	59.7	13.6	51.9 (±1.09)	30.4 (±1.90)
NS-DR [7]	Pretrain	87.6	79.6	51.0	32.0
VRDP [47]	Pretrain	96.3	91.9	50.9	31.6
CNN+LSTM	Pretrain	62.0	17.5	50.3	30.0
CNN+LSTM	Scratch	N/A	N/A	51.7 (±0.64)	34.2 (±1.69)
CNN+LSTM	Pretrain+Finetune	62.0	17.5	51.5 (±2.35)	30.8 (±0.69)
CNN+BERT	Pretrain	55.1	11.5	52.9	32.0
CNN+BERT	Scratch	N/A	N/A	52.0 (±2.34)	30.2 (±2.41)
CNN+BERT	Pretrain+Finetune	N/A	N/A	50.1 (±0.68)	30.4 (±3.09)
ALOE [43]	Pretrain	98.5	96.0	54.0	26.9
ALOE [43]	Scratch	N/A	N/A	51.8 (±1.00)	31.7 (±0.79)
ALOE [43]	Pretrain+Finetune	98.5	96.0	52.7 (±1.36)	32.1 (±1.36)
Human	N/A	N/A	N/A	84.5	71.4

• CLEVRER-Humans는 1108개의 비디오를 8581개의 설명과 21167개의 간선 주석으로 생산하며 처리 후 1076개의 QA 쌍을 산출한다.
• 이 데이터셋은 밀집된 CEG(평균 4.71개의 노드와 비디오당 12.7개의 간선)와 219의 어휘, 31개의 서로 다른 동사를 특징으로 하여 CLEVRER에 비해 사건 다양성을 크게 확장한다.
• 인과에 대한 인간 판단은 CLEVRER의 휴리스틱 라벨과 달라 상당한 차이를 보이지만 일부 케이스에서 반사실적 기준선과의 정렬에 더 가깝고, 인간이 평가한 인과성은 1-5의 등급 스케일로 포착된다.
• CLEVRER-Humans에서 학습되거나 평가된 모델은 CLEVRER와 비교해 큰 성능 격차를 보이며, 다양성 및 데이터 효율성 문제와 더 나은 전이 및 물리학 정보를 활용한 모델링의 필요성을 강조한다.
• 저자들은 반복적 cloze 기반 주석과 신경 설명 생성을 결합한 데이터 수집 파이프라인을 통해 데이터 효율성을 달성함을 보여준다.
• 평가에 따르면 CLEVRER-Humans에서 어떤 기존 모델도 무작위 기준선을 명확히 능가하지 못하며, 인간 주석 인과 추론 작업의 난이도를 강조한다.