[論文レビュー] CLEVRER-Humans: Describing Physical and Causal Events the Human Way

Jiayuan Mao, Xuelin Yang+3 more|arXiv (Cornell University)|Oct 5, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

CLEVRER-Humans は、物理イベントとそれらの因果関係の人間が注釈したデータセットを提供し、CLEVRER を密度が高く多様で人間生成のイベント記述と階層的因果判断、そして三段階のデータ収集パイプラインを拡張します。

ABSTRACT

Building machines that can reason about physical events and their causal relationships is crucial for flexible interaction with the physical world. However, most existing physical and causal reasoning benchmarks are exclusively based on synthetically generated events and synthetic natural language descriptions of causal relationships. This design brings up two issues. First, there is a lack of diversity in both event types and natural language descriptions; second, causal relationships based on manually-defined heuristics are different from human judgments. To address both shortcomings, we present the CLEVRER-Humans benchmark, a video reasoning dataset for causal judgment of physical events with human labels. We employ two techniques to improve data collection efficiency: first, a novel iterative event cloze task to elicit a new representation of events in videos, which we term Causal Event Graphs (CEGs); second, a data augmentation technique based on neural language generative models. We convert the collected CEGs into questions and answers to be consistent with prior work. Finally, we study a collection of baseline approaches for CLEVRER-Humans question-answering, highlighting the great challenges set forth by our benchmark.

研究の動機と目的

• ビデオにおける物理推論と因果推論をヒューリスティックな規則を超えて人間中心に評価する動機を示す。
• 物理イベントの多様で人間がラベル付けした記述を作成し、 grounded 言語理解と因果関係の研究を促進する。
• 高密度な人間注釈付き因果グラフ表現（CEGs）を提供し、QA ペアに変換してベンチマークに利用できるようにする。
• 繰り返し型のクローズ注釈とニューラル記述拡張を組み合わせたデータ効率の良いパイプラインを提案する。

提案手法

• イベントをノード（イベントの記述）として、方向エッジ（人間が判断した因果影響）と階層スコアを持つ因果イベントグラフ（CEGs）を導入する。
• 初期イベントの種として CLEVRER のイベントから記述を増やす反復的な event cloze タスクを使用する（Stage I）。
• 単一物体・対双イベント記述を増強するニューラル・トラジェクタリーベースの生成モデルを訓練する（Stage II）。
• 品質・多様性・ビデオ軌道との整合性を確保するための後処理と人間によるフィルタリングを適用する。
• 拡張データを人間のエッジラベリング（Stage III）によって密度の高い CEGs に凝縮する。
• CEGs を CLEVRER 互換の QA ペアに変換し、正解/不正解の選択肢をサンプリングして多肢選択問題を形成する。

実験結果

リサーチクエスチョン

• RQ1 人間は動画の物理イベント間の因果関係をヒューリスティックな規則を超えてどのように記述・判断するのか？
• RQ2 密度の高い人間注釈付き Causal Event Graphs (CEGs) のフレームワークを robust な QA データセットへ変換できるのか？
• RQ3 ニューラル記述生成器と限られた人間ラベリングで多様で高品質なイベント記述と因果注釈を大規模に得られるのか？
• RQ4 人間が注釈した因果判断を機械推論モデルへ転移する際にどのような課題が生じるのか？

主な発見

Model	Training	Per-Option (CLEVRER)	Per-Question (CLEVRER)	Per-Option (CLEVRER-Humans)	Per-Question (CLEVRER-Humans)
Best Guess	N/A	50.2	16.5	50.7	31.6
Lang-Only	Scratch	59.7	13.6	51.9 (±1.09)	30.4 (±1.90)
NS-DR [7]	Pretrain	87.6	79.6	51.0	32.0
VRDP [47]	Pretrain	96.3	91.9	50.9	31.6
CNN+LSTM	Pretrain	62.0	17.5	50.3	30.0
CNN+LSTM	Scratch	N/A	N/A	51.7 (±0.64)	34.2 (±1.69)
CNN+LSTM	Pretrain+Finetune	62.0	17.5	51.5 (±2.35)	30.8 (±0.69)
CNN+BERT	Pretrain	55.1	11.5	52.9	32.0
CNN+BERT	Scratch	N/A	N/A	52.0 (±2.34)	30.2 (±2.41)
CNN+BERT	Pretrain+Finetune	N/A	N/A	50.1 (±0.68)	30.4 (±3.09)
ALOE [43]	Pretrain	98.5	96.0	54.0	26.9
ALOE [43]	Scratch	N/A	N/A	51.8 (±1.00)	31.7 (±0.79)
ALOE [43]	Pretrain+Finetune	98.5	96.0	52.7 (±1.36)	32.1 (±1.36)
Human	N/A	N/A	N/A	84.5	71.4

• CLEVRER-Humans は 1108 本の動画、8581 件の記述、21167 件のエッジ注釈を生み出し、処理後に 1076 個の QA ペアを得た。
• 本データセットは密度の高い CEGs（平均 4.71 ノード、動画あたり 12.7 エッジ）と 219 語彙、31 種類の動詞を特徴とし、CLEVRER に比べてイベントの多様性を大幅に拡張している。
• 人間の因果判断は CLEVRER のヒューリスティックラベルと異なり、いくつかのケースで反実仮想ベースラインに近い整合性を示す一方、あるケースでは顕著な乖離が見られる；人間が評価する因果性は 1-5 のグレードスケールで捉えられている。
• CLEVRER-Humans で訓練または評価されたモデルは CLEVRER と比較して大きな性能差を示し、多様性とデータ効率の課題、より良い転移と物理情報を取り入れたモデリングの必要性を浮き彫りにする。
• 著者らは反復的な Cloze 注釈とニューラル記述生成を組み合わせたデータ収集パイプラインを示し、データ効率を達成している。
• 評価の結果、現存する主要モデルのいずれも CLEVRER-Humans での乱択ベースラインを明確に上回らないことを示し、人間注釈付き因果推論タスクの難しさを強調している。