[論文レビュー] Uncovering Temporal Context for Video Question and Answering

Linchao Zhu, Zhongwen Xu+2 more|arXiv (Cornell University)|Nov 15, 2015

Multimodal Machine Learning Applications参考文献 52被引用数 41

ひとこと要約

本稿では、過去、現在、未来の時間的状態を網羅する動画質問応答のための、GRUベースのエンコーダデコーダフレームワークと二重チャネルランク損失を提案する。視覚的・言語的表現の統合と、109,895本の動画クリップと390,744個の選択肢付き質問を含む大規模データセットを活用することで、ベースラインを著しく上回り、TACoSにおける過去推論では78.3%、ハード例における未来予測では79.7%の精度を達成した。

ABSTRACT

In this work, we introduce Video Question Answering in temporal domain to infer the past, describe the present and predict the future. We present an encoder-decoder approach using Recurrent Neural Networks to learn temporal structures of videos and introduce a dual-channel ranking loss to answer multiple-choice questions. We explore approaches for finer understanding of video content using question form of "fill-in-the-blank", and managed to collect 109,895 video clips with duration over 1,000 hours from TACoS, MPII-MD, MEDTest 14 datasets, while the corresponding 390,744 questions are generated from annotations. Extensive experiments demonstrate that our approach significantly outperforms the compared baselines.

研究の動機と目的

• 動画質問応答における時間的推論の欠如を解消し、過去の行動の推論、現在の状態の記述、未来の予測を可能にする。
• 動画キャプションの超え、動画フレームと自然言語の質問との間の微細な相互作用をモデル化することで、動画理解を向上させる。
• 時間的動画QAに適した視覚的・言語的表現を共同で学習するスケーラブルでエンドツーエンドのフレームワークを構築する。
• ベンチマーク用に、1,000時間以上の動画と39万個の選択肢付き質問を含む大規模かつ多様な動画QAデータセットを構築・公開する。
• 制御された難易度を備えた「穴埋め形式」（FITB）を用いてモデル性能を信頼性高く定量的に比較可能にする評価を実施する。

提案手法

• 動画クリップ内の長距離時間的依存関係をモデル化するため、GRUベースのエンコーダデコーダアーキテクチャを用いる。
• 過去の推論、現在の記述、未来の予測の3つのタスクを同時に最適化するため、二重チャネルランク損失を採用する。
• 視覚的特徴をConvNetsから得て、単語および文の埋め込みを統合的に統合する埋め込み空間に統合することで、マルチモーダル理解を強化する。
• 質問の解析と推論を向上させるために、外部知識ベース（例：BookCorpus、Google News）を活用する。
• QAタスクの微調整の前に、動画クリップ上で教師なし学習を実施し、時間的構造を事前学習する。
• 評価には「穴埋め形式」の選択肢付き形式を用い、モデル性能の制御された再現可能性のある評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合的な動画QAフレームワークは、過去、現在、未来の状態における時間的推論を効果的にモデル化できるか？
• RQ2 分離されたモダリティモデルと比較して、視覚的・言語的表現の共同学習は、動画QA性能をどの程度向上させるか？
• RQ3 二重チャネルランク損失は、異なる時間的推論タスクにおいて、回答選択の正確性をどの程度向上させるか？
• RQ4 GRUベースのエンコーダデコーダアーキテクチャは、動画における長距離時間的依存関係をモデル化する際に、ConvNetベースのモデルを上回るか？
• RQ5 制御された難易度を備えた大規模な選択肢付き動画QAデータセットは、時間的動画理解モデルの信頼性高くスケーラブルな評価を可能にするか？

主な発見

• 提案されたGRUベースのモデルは、TACoSにおける過去推論で78.3%、ハード例における未来予測で79.7%の精度を達成し、ConvNetベースラインを上回った。
• TACoSデータセットにおけるハード例において、過去推論で3.5%、未来予測で2.8%の精度向上を達成した。
• MPII-MDでは、過去推論で72.1%、未来予測で73.6%の精度を達成し、ConvNetベースラインに対して一貫した向上を示した。
• 未来予測タスクでは過去推論よりも高い性能を示したが、これは未来予測タスクに短時間依存性が少ないためと推測される。
• 二重チャネルランク損失は、すべての3つの時間的タスクにおいて視覚的および言語的文脈を活用することで、回答選択の正確性を著しく向上させた。
• GRUのパrameter数の削減と、視覚的・言語的特徴の効果的な共同学習のおかげで、過学習に対して頑健であることが示された。