[論文レビュー] Video Understanding as Machine Translation

Bruno Korbar, Fabio Petroni+2 more|arXiv (Cornell University)|Jun 12, 2020

Multimodal Machine Learning Applications参考文献 59被引用数 26

ひとこと要約

本論文は、負例サンプリングを不要にする生成モデルアプローチを用いて、ビデオ・テキストのアライメントを機械翻訳タスクとして定式化する統合型ビデオ理解フレームワークを提案する。この手法は、HowTo100M、TVQA、YouCook2などの大規模データセット上で、ビデオ分類、質疑応答、キャプション生成、テキストベースのリtrievalといった複数の下流タスクにおいて、最先端の性能を達成する。

ABSTRACT

With the advent of large-scale multimodal video datasets, especially sequences with audio or transcribed speech, there has been a growing interest in self-supervised learning of video representations. Most prior work formulates the objective as a contrastive metric learning problem between the modalities. To enable effective learning, however, these strategies require a careful selection of positive and negative samples often combined with hand-designed curriculum policies. In this work we remove the need for negative sampling by taking a generative modeling approach that poses the objective as a translation problem between modalities. Such a formulation allows us to tackle a wide variety of downstream video understanding tasks by means of a single unified framework, without the need for large batches of negative samples common in contrastive metric learning. We experiment with the large-scale HowTo100M dataset for training, and report performance gains over the state-of-the-art on several downstream tasks including video classification (EPIC-Kitchens), question answering (TVQA), captioning (TVC, YouCook2, and MSR-VTT), and text-based clip retrieval (YouCook2 and MSR-VTT).

研究の動機と目的

• 対照的メトリック学習が手作業で設計された負例サンプリングやカリキュラム方針に大きく依存するビデオ表現学習の限界を解消すること。
• ビデオ理解をモダリティ間の生成翻訳問題に再定式化することで、大規模な負例バッチの必要性を排除すること。
• タスク固有の再トレーニングやアーキテクチャ変更なしに、多様な下流ビデオ理解タスクを処理できる統合フレームワークの開発。
• ビデオとテキストのシーケンス・ツー・シーケンスモデリングを通じた自己教師学習を活用し、ビデオ理解ベンチマークでの性能を向上させること。
• 音声や字幕付きの大規模マルチモーダルビデオデータセットから、スケーラブルでエンド・トゥ・エンドのアプローチで効果的に学習できるようにすること。

提案手法

• 本手法は、ビデオ・テキストのアライメントをシーケンス・ツー・シーケンス翻訳問題として扱い、トランスフォーマーに基づく生成モデルを用いて視覚的特徴からテキスト記述へのマッピングをモデル化する。
• 因果的自己回帰デコーダーを採用し、符号化されたビデオ特徴に条件付けられたテキストトークンを生成することで、対照的目的を排除したエンド・トゥ・エンド学習を可能にする。
• 転写音声やキャプション上でマスク言語モデルと次トークン予測の目的関数を用いて、HowTo100Mなどの大規模ビデオデータセットで事前学習を行う。
• 推論時、分類、キャプション生成、リtrievalなどの下流タスクにゼロショットまたはファインチューニングによる適応を、同じ生成ヘッドをプロンプトすることで実現する。
• 対照的学習を回避するため、ビデオと対応するテキストのペア（正例のみ）を用いることで、学習の複雑さを低減し、負例サンプリングの必要性を排除する。
• 同じ統合アーキテクチャを用いて複数のタスクをサポートし、推論時にタスク固有のプロンプト工学やファインチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ間の生成翻訳タスクとしてのビデオ表現学習が、負例サンプリングを回避しつつ効果的に可能になるか。
• RQ2 多様なビデオ理解タスクにおいて、統合型生成フレームワークは対照的学習手法と比較してどの程度の性能を示すか。
• RQ3 同じ事前学習モデルを用いて、ビデオ分類、キャプション生成、テキストベースのリtrievalなどの下流タスクにゼロショットまたはフェイシュートで一般化できるか。
• RQ4 負例サンプリングの欠如が、大規模ビデオデータセットにおける学習の安定性とスケーラビリティにどのように寄与するか。
• RQ5 EPIC-Kitchens、TVQA、YouCook2、MSR-VTTを含む複数のベンチマークで、提案手法が最先端の結果を達成できるか。

主な発見

• 提案手法は、EPIC-Kitchensベンチマークで、従来手法を上回る最先端の性能を達成した。
• テキストベースのクリップリtrieバルにおいて、新しい最先端の結果を設定し、YouCook2およびMSR-VTTデータセットの両方で性能を向上させた。
• ビデオキャプションにおいても強力な向上を達成し、TVC、YouCook2、MSR-VTTのすべてのデータセットで、以前の手法を上回った。
• ビデオ質疑応答のTVQAベンチマークで最先端の結果を達成し、強力なゼロショット一般化能力を示した。
• 大規模な負例サンプリングや複雑なカリキュラム方針の必要性がなくなり、学習を簡素化しながらも、性能を維持または向上させた。
• 同じ事前学習モデルを用いて、最小限の適応で多様なビデオ理解タスクに効果的に一般化できる統合アーキテクチャを実現した。