[論文レビュー] VIOLIN: A Large-Scale Dataset for Video-and-Language Inference

Jingzhou Liu, Wenhu Chen+5 more|arXiv (Cornell University)|Mar 25, 2020

Multimodal Machine Learning Applications参考文献 70被引用数 9

ひとこと要約

本論文では、テレビ番組や映画のクラップから収集された合計582時間にわたる動画と、それに一致する字幕付きの95,322組の動画-仮説ペアを含む大規模なデータセット、VIOLINを紹介する。このデータセットは、動画と自然言語の仮説の間に含意または矛盾があるかを判断する「動画と言語の推論」というタスクを想定しており、モデルが動画と字幕を組み合わせたものから仮説の妥当性を推論できるかを評価する。データセットは、敵対的で人間がアノテートした否定的文を含み、深層マルチモーダル推論を重視している。ベースラインモデルは、敵対的に抽出された否定的文に対して67.6%の正確度にとどまり、人間の性能（85.2%）と比較して大幅な向上の余地があることを示している。

ABSTRACT

We introduce a new task, Video-and-Language Inference, for joint multimodal understanding of video and text. Given a video clip with aligned subtitles as premise, paired with a natural language hypothesis based on the video content, a model needs to infer whether the hypothesis is entailed or contradicted by the given video clip. A new large-scale dataset, named Violin (VIdeO-and-Language INference), is introduced for this task, which consists of 95,322 video-hypothesis pairs from 15,887 video clips, spanning over 582 hours of video. These video clips contain rich content with diverse temporal dynamics, event shifts, and people interactions, collected from two sources: (i) popular TV shows, and (ii) movie clips from YouTube channels. In order to address our new multimodal inference task, a model is required to possess sophisticated reasoning skills, from surface-level grounding (e.g., identifying objects and characters in the video) to in-depth commonsense reasoning (e.g., inferring causal relations of events in the video). We present a detailed analysis of the dataset and an extensive evaluation over many strong baselines, providing valuable insights on the challenges of this new task.

研究の動機と目的

• 静的画像を超えた動画と言語の統合的理解のための、大規模で挑戦的なベンチマークの不足に対処すること。
• 動画と字幕付きの動画と自然言語の仮説の間に含意または矛盾があるかを推論するという、新たなタスク「動画と言語の推論」を導入すること。
• 二重アノテーション戦略を用いて、時間的ダイナミクス、社会的相互作用、複雑な推論要件を備えた多様で高品質なデータセットを収集すること。
• 最先端のモデルをこの新しいベンチマークで評価し、動画とテキストのマルチモーダル推論における主な課題を特定すること。
• マルチモーダル表現学習と動画理解タスクにおける推論の発展の基盤を提供すること。

提案手法

• テレビ番組およびYouTubeの映画チャンネルから15,887の動画クリップを収集し、それぞれに一致する字幕と6つの仮説（3つは肯定的、3つは否定的）を付与した。
• 否定的文の収集に2つの戦略を採用した：(i) 肯定的文を最小限の編集で変更し、スタイルと長さを維持する方法、(ii) 他の動画からの紛らわしい文を選択する敵対的マッチング手法。
• 文脈的なテキスト表現にはBERTを、視覚的特徴にはResNetおよびFaster R-CNN（物体検出と領域特徴抽出）を用いた。
• BERT、LXMERT、マルチモーダルエンコーダーなどの複数のモデルを評価し、入力モodalの組み合わせ（テキスト、動画、字幕）に関するアブレーションスタディを実施した。
• 予測誤りの定性的分析を実施し、原因の推論や人間関係の理解における失敗モードを特定した。
• 異なる入力組み合わせにおける人間評価を実施し、動画、字幕、テキストが推論性能にどの程度寄与しているかを測定した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様な動画データセットに、複雑な推論要件を伴う状況下で、既存のマルチモーダルモデルはどれほど動画と言語の推論を効果的に行えるか？
• RQ2 敵対的および人間がアノテートした否定的文は、難易度においてどの程度異なるのか？また、モデルの一般化能力にどのような挑戦をもたらすか？
• RQ3 動画、字幕、またはテキストのうち、どれが動画と言語の理解タスクにおける正確な推論に最も寄与しているか？
• RQ4 視覚的認識、行動認識、因果推論などの推論タイプの中で、現在のモデルが最も困難に感じるのはどれか？
• RQ5 BERTとGloVe、Visual Genomeからの視覚的特徴など、異なる特徴表現（例：BERT vs. GloVe）は、Violinベンチマークにおけるモデル性能にどのように影響するか？

主な発見

• 最良のベースラインモデル（BERT + 視覚的特徴）は、敵対的に抽出された否定的文に対して67.60%の正確度を達成したが、人間の性能（85.20%）と比べて著しく低い水準にとどまった。
• 動画入力を追加することで、テキストのみの入力（51.38%）と比較して正確度が13.01ポイント向上（77.19%）し、視覚的文脈の重要性を示した。
• 視覚的特徴が追加された際、モデルは「視覚的認識」と「行動認識」タスクで最も高い性能向上を示したが、「会話の推論」および「人間のダイナミクス」タスクでは最小の向上を示した。
• 敵対的に抽出された否定的文は人間が作成したものよりも難易度が高く、モデルの正確度は敵対的文で67.60%、人間が作成した文で66.05%であった。これは、より高い推論要件を伴うことを示している。
• 「原因を推論する」および「人間関係を推論する」タスクでは、視覚的特徴のみで正確度が50.00%に低下し、因果的および社会的推論における限界を示唆している。
• 人間評価により、動画が字幕よりも性能向上に寄与していることが確認され、このタスクにおいて視覚的信号がテキスト的記述よりも情報量が多いことが示された。