[論文レビュー] End-to-end Generative Pretraining for Multimodal Video Captioning

Paul Hongsuck Seo, Arsha Nagrani+2 more|arXiv (Cornell University)|Jan 20, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本論文は、ラベルなし動画のみを用いて、マルチモーダル動画エンコーダーと文デコーダーを同時に学習するエンドツーエンドの生成的事前学習フレームワーク、MV-GPTを提案する。将来の発話文を双方向的生成目的を通じて教師信号として活用することで、現在の発話文と将来の発話文の両方を予測する。このアプローチにより、手動でラベル付けされたキャプションが不要な状態で、動画キャプション、VideoQA、リtrieval、アクティビティ分類の分野で最先端の性能を達成した。

ABSTRACT

Recent video and language pretraining frameworks lack the ability to generate sentences. We present Multimodal Video Generative Pretraining (MV-GPT), a new pretraining framework for learning from unlabelled videos which can be effectively used for generative tasks such as multimodal video captioning. Unlike recent video-language pretraining frameworks, our framework trains both a multimodal video encoder and a sentence decoder jointly. To overcome the lack of captions in unlabelled videos, we leverage the future utterance as an additional text source and propose a bidirectional generation objective -- we generate future utterances given the present mulitmodal context, and also the present utterance given future observations. With this objective, we train an encoder-decoder model end-to-end to generate a caption from raw pixels and transcribed speech directly. Our model achieves state-of-the-art performance for multimodal video captioning on four standard benchmarks, as well as for other video understanding tasks such as VideoQA, video retrieval and action classification.

研究の動機と目的

• 大規模で手動でラベル付けされた動画キャプションの不足により、生成的動画理解モデルの学習が制限されている問題に対処すること。
• 人為的ラベル付きキャプションを必要とせずに、マルチモーダルエンコーダーと文デコーダーの共同事前学習を可能にすること。
• 時間的に離れた発話文を教師信号として用いることで、ノイズ除去オートエンコーダーよりも強力な事前学習目的を構築すること。
• エンドツーエンド最適化を通じて、マルチモーダル動画キャプション、VideoQA、動画リtrieval、アクティビティ分類の下流タスクにおける性能向上を図ること。
• インstruct型動画における将来の発話文が、自己教師学習におけるキャプションの教師信号としての代理として機能できることを示すこと。

提案手法

• フレームワークは双方向的生成目的を用いる：現在の動画と音声入力から将来の発話文を予測し、将来の観測から現在の発話文を予測する。
• 訓練中に前方と後方の生成タスクを区別するために、特別なトークン（CLS1、CLS2、BOS1、BOS2）が使用される。
• 自動音声認識（ASR）トランスクリプトは含まれるがキャプションがない、HowTo100Mなどのデータセットからのラベルなしインstruct型動画を用いて、エンドツーエンドで訓練される。
• 表現学習を向上させるために、生成的目的に加えて対照的学習目的（Bi-NCE）が用いられる。
• マルチモーダルエンコーダーは視覚フレームと音声トランスクリプトを処理し、デコーダーは自然言語キャプションを生成する。
• フレームワークは、動画キャプション、VideoQA、リtrieval、アクティビティ分類などの下流タスクへの転移学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしインストラクション型動画における将来の発話文は、マルチモーダル動画キャプションモデルのエンドツーエンド事前学習における効果的な教師信号として機能できるか？
• RQ2 将来と現在の両方の発話文を生成する双方向的生成目的は、単方向的またはノイズ除去オートエンコーディング手法と比較して性能を向上させるか？
• RQ3 エンドツーエンドで訓練されたエンコーダ-デコーダー・モデルは、デコーダーをランダム初期化または別個に事前学習したモデルを上回る性能を発揮できるか？
• RQ4 MV-GPTは、VideoQA、リtrieval、アクティビティ分類といった下流タスクにおける性能をどの程度向上させるか？
• RQ5 人為的ラベル付きキャプションが一切ない状況で、MV-GPTは他の自己教師学習事前学習手法と比較してどのように性能を発揮するか？

主な発見

• MV-GPTは、4つの標準ベンチマークで、マルチモーダル動画キャプション分野で最先端の性能を達成した。
• MSR-VTTの動画リtrievalタスクでは、ASRありでR@1が37.3%、なしで33.6%を達成し、Bi-NCEベースラインと比較して相対的に6.3%の向上を示した。
• MSRVTT-QAおよびActivityNet-QAのVideoQAタスクでは、それぞれ41.7%および39.1%の精度を達成し、SOTAモデルと同等またはそれを上回った。
• Kinetics-400のアクティビティ分類タスクでは、事前学習なしで初期化したMV-GPTがトップ1正解率74.20%を達成し、初期化なしで学習した場合と比較して24パーセンテージポイントの向上を示した。
• ImageNet-21kの重みで初期化し、さらにHowTo100Mでさらに事前学習したMV-GPTは、Kinetics-400で80.40%の精度を達成し、元のViViTベースラインを1.5%上回った。
• アブレーションスタディの結果、双方向的生成目的が単方向的またはノイズ除去ベースの目的よりも顕著に性能を向上させることを確認した。