[論文レビュー] A dataset and exploration of models for understanding video data through fill-in-the-blank question-answering

Tegan Maharaj, Nicolas Ballas+3 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications参考文献 36被引用数 6

ひとこと要約

本稿では、視覚障害者向けの記述的ビデオサービス（DVS）のトランスクリプトから抽出された30万件を超える例を有する大規模な穴埋め型ビデオ質疑応答データセット、MovieFIBを紹介する。5つのモデルを評価した結果、2次元（2D）と3次元（3D）の視覚特徴を組み合わせたモデルが、テキストのみのモデルを著しく上回ることが示されたが、すべてのモデルが人間の性能に大きく劣っており、動画理解モデルの改善が喫急の課題であることが浮き彫りになった。

ABSTRACT

While deep convolutional neural networks frequently approach or exceed human-level performance at benchmark tasks involving static images, extending this success to moving images is not straightforward. Having models which can learn to understand video is of interest for many applications, including content recommendation, prediction, summarization, event/object detection and understanding human visual perception, but many domains lack sufficient data to explore and perfect video models. In order to address the need for a simple, quantitative benchmark for developing and understanding video, we present MovieFIB, a fill-in-the-blank question-answering dataset with over 300,000 examples, based on descriptive video annotations for the visually impaired. In addition to presenting statistics and a description of the dataset, we perform a detailed analysis of 5 different models' predictions, and compare these with human performance. We investigate the relative importance of language, static (2D) visual features, and moving (3D) visual features; the effects of increasing dataset size, the number of frames sampled; and of vocabulary size. We illustrate that: this task is not solvable by a language model alone; our model combining 2D and 3D visual information indeed provides the best result; all models perform significantly worse than human-level. We provide human evaluations for responses given by different models and find that accuracy on the MovieFIB evaluation corresponds well with human judgement. We suggest avenues for improving video models, and hope that the proposed dataset can be useful for measuring and encouraging progress in this very interesting field.

研究の動機と目的

• 動画理解モデルのための大規模かつ定量的なベンチマークの不足を是正すること。
• 既存の記述的ビデオトランスクリプトを活用した、スケーラブルで自動的な動画質疑応答データ生成手法の構築。
• 言語、静的（2D）、動的（3D）視覚特徴が動画理解に与える相対的寄与度の評価。
• 訓練データ量およびモデルアーキテクチャの性能への影響の評価。
• MovieFIBにおける分類精度が人間の判断と相関することの妥当性の検証。

提案手法

• DVSトランスクリプトから自動的に穴埋め型質問を生成し、キーワード（エンティティ、動作、属性）をマスキングすることでデータセットを構築。
• 5つのベースラインモデルを訓練：LSTMベースの言語モデリングを用いたテキストのみのモデル、およびGoogLeNetによる2D視覚特徴とC3Dによる3D運動特徴を統合したモデル。
• 視覚特徴は事前学習済みの畳み込みニューラルネットワーク（2DにはGoogLeNet、3DにはC3D）を用いて抽出し、MLPによる分類の前に特徴を連結して統合。
• 30万件のデータセット上でモデルを訓練・評価し、マスキングされた語のトップ1正解率を性能指標として用いた。
• アマゾンMechanical Turkを用いた人間評価を通じて、モデル出力と人間の関連性・正しさの判断を比較。
• ボリュームサイズ、抽出フレーム数、訓練セットサイズのハイパーパrameter感度分析を実施。

実験結果

リサーチクエスチョン

• RQ1 DVSトランスクリプトに基づく穴埋め型QAタスクは、動画理解のための堅牢でスケーラブルなベンチマークとして機能するか？
• RQ2 言語のみのモデルは、この動画QAタスクでどの程度の成功を収めるか？
• RQ3 2Dおよび3Dの視覚特徴は、個別および統合的にモデル性能にどの程度寄与するか？
• RQ4 訓練データ量の増加が、特に視覚モデルとテキストのみのモデルの両者に与える影響は？
• RQ5 MovieFIBにおけるモデルの分類精度は、人間による応答品質評価と相関するか？

主な発見

• 言語モデルのみでは穴埋めタスクを解くことができず、この動画理解ベンチマークでは視覚的理解が不可欠であることが示された。
• 2Dおよび3D視覚特徴を統合したモデルが最も高い性能を示し、空間的および時間的視覚手がかりの両方が正確な動画理解に不可欠であることが実証された。
• すべてのモデルが人間の性能に著しく劣っており、バリデーションセットにおいて最良のモデルでも21.0%の正解率にとどまり、現在のモデル能力に大きなギャップがあることが明らかになった。
• 視覚ベースのモデルはテキストのみのモデルよりも、訓練データ量の増加に伴い性能向上が著しく速やかに進むことが示され、視覚モデルはデータスケールの恩恵をより大きく受けることが示唆された。
• 1つの回答語ごとの真正陽性率は、トレーニングセット内での語の頻度と強く相関しており、希少語の処理が依然として大きな課題であることが示された。
• MovieFIBにおけるモデルの分類精度は人間評価と強く相関しており、分類精度が動画理解モデルのベンチマークに信頼できる指標であることが確認された。