[論文レビュー] CLEVRER: CoLlision Events for Video REpresentation and Reasoning

Kexin Yi, Chuang Gan+5 more|arXiv (Cornell University)|Oct 3, 2019

Multimodal Machine Learning Applications参考文献 60被引用数 70

ひとこと要約

CLEVRER は、記述的、説明的、予測的、反事実的タスクを横断する時系列・因果推論を研究するための、グラウンドトゥルースのモーションのトレースとイベントを備えた合成動画データセットを提供し、さまざまなベースラインとニューローシンボリックモデルをベンチマークします。

ABSTRACT

The ability to reason about temporal and causal events from videos lies at the core of human intelligence. Most video reasoning benchmarks, however, focus on pattern recognition from complex visual and language input, instead of on causal structure. We study the complementary problem, exploring the temporal and causal structures behind videos of objects with simple visual appearance. To this end, we introduce the CoLlision Events for Video REpresentation and Reasoning (CLEVRER), a diagnostic video dataset for systematic evaluation of computational models on a wide range of reasoning tasks. Motivated by the theory of human casual judgment, CLEVRER includes four types of questions: descriptive (e.g., "what color"), explanatory ("what is responsible for"), predictive ("what will happen next"), and counterfactual ("what if"). We evaluate various state-of-the-art models for visual reasoning on our benchmark. While these models thrive on the perception-based task (descriptive), they perform poorly on the causal tasks (explanatory, predictive and counterfactual), suggesting that a principled approach for causal reasoning should incorporate the capability of both perceiving complex visual and language inputs, and understanding the underlying dynamics and causal relations. We also study an oracle model that explicitly combines these components via symbolic representations.

研究の動機と目的

• 動画におけるテンポラルおよび因果推論を、コントロールされた合成データセットを用いて研究する動機づけ。
• グラウンドトゥルースのモーションのトレースとイベント履歴を提供し、複数の推論タイプにわたるモデル能力を診断する。
• さまざまなベースラインとニューロ・シンボリック動的推論モデルを評価し、因果タスクにおける強みと限界を特定する。
• 物体中心の知覚、ダイナミクスモデリング、および象徴的推論を統合して、堅牢な動画理解を促進する。

提案手法

• 300,000件以上の質問と回答を含む、衝突物体の完全に制御された合成20,000動画データセットを導入する。
• 検出的評価のため、各動画にグラウンドトゥルースの物体運動トレースとイベント履歴を付与する。
• 4種類の質問タイプ（記述的、説明的、予測的、反事実的）を、それぞれ機能プログラムと組み合わせて定義する。
• CLEVRER に対して、言語のみ、動画QA、組成的視覚推論を横断するベースラインモデルを評価する。
• Neuro-Symbolic Dynamic Reasoning（NS-DR）を提案し、動画フレームパーサー、ニューラルダイナミクス予測、質問パーサー、および象徴的プログラム実行を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 現在のモデルは、時系列・因果構造を持つ動画に対して、記述的、説明的、予測的、および反事実的推論をどれほどうまく行えるのか。
• RQ2 物体中心の表現とダイナミクスモデリングは因果推論タスクをどの程度改善するのか。
• RQ3 知覚・ダイナミクス・言語を象徴的推論に grounding するニューロ-シンボリックアプローチは、CLEVRER のエンドツーエンドベースラインを上回るか。
• RQ4 純粋な知覚的アプローチまたは純粋な象徴的アプローチだけでは、動画ベースの因果推論にどのような限界があるのか。
• RQ5 質問パーサーのトレーニングデータ量（例：質問パース用プログラム数）が、推論タスクの性能にどのように影響するのか。

主な発見

• 記述的な質問は、強力な知覚と組成的推論を持つモデルによって最もよくサポートされるが、言語のみのベースラインは性能が低い。
• 説明的、予測的、反事実的な質問の原因は、視覚知覚だけではなく、物体中心の表現とダイナミクスモデリングを必要とする。
• 物体認識機能（MAC (V+)）は、因果タスクの性能を非物体認識系と比較して大幅に改善する。
• NS-DR は記述的質問で高い正確さを示し（88.1%）、説明的（87.6%）、予測的（79.6%）、反事実的（82.9%）の質問で有意な向上を示す。
• ノーイベント変種NS-DR（NE）は同等の性能を示し、ダイナミクスモデリングが他の入力で適応可能であることを示唆する。
• 質問パーサーを1,000プログラムで訓練するだけで、NS-DR の完全な因果機能が十分に発揮される。