[論文レビュー] An Empirical Study of End-to-End Video-Language Transformers with Masked Visual Modeling

Tsu-Jui Fu, Linjie Li+5 more|arXiv (Cornell University)|Sep 4, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、エンドツーエンドの動画・言語トランスフォーマーにおけるマスクドビジュアルモデリング（MVM）の包括的な実験的分析を提示し、空間的焦点をもつ画像特徴（SIF）を用いたMVM目的を強化したVIOLETv2—最も効果的なMVM目的—を提案する。この手法は13の動画・言語ベンチマークで最先端の性能を達成し、動画質問応答で+5.4%の精度向上、テキストから動画への検索で+6.6%の再現率向上、動画キャプションで+11.4のCIDEr向上を達成しており、SIFに基づくMVMが、生の動画入力でエンドツーエンドに訓練された際、下流タスクの性能を顕著に向上させることを示している。

ABSTRACT

Masked visual modeling (MVM) has been recently proven effective for visual pre-training. While similar reconstructive objectives on video inputs (e.g., masked frame modeling) have been explored in video-language (VidL) pre-training, previous studies fail to find a truly effective MVM strategy that can largely benefit the downstream performance. In this work, we systematically examine the potential of MVM in the context of VidL learning. Specifically, we base our study on a fully end-to-end VIdeO-LanguagE Transformer (VIOLET), where the supervision from MVM training can be backpropagated to the video pixel space. In total, eight different reconstructive targets of MVM are explored, from low-level pixel values and oriented gradients to high-level depth maps, optical flow, discrete visual tokens, and latent visual features. We conduct comprehensive experiments and provide insights into the factors leading to effective MVM training, resulting in an enhanced model VIOLETv2. Empirically, we show VIOLETv2 pre-trained with MVM objective achieves notable improvements on 13 VidL benchmarks, ranging from video question answering, video captioning, to text-to-video retrieval.

研究の動機と目的

• エンドツーエンドの動画・言語事前学習における、さまざまなマスクドビジュアルモデリング（MVM）目的の有効性を調査すること。
• 低レベル特徴から高レベル表現までのさまざまなMVMターゲットのうち、どのものが下流の動画・言語理解を最も効果的に向上させるかを特定すること。
• MVMのマスキング戦略、比率、およびMVM目的の組み合わせがモデル性能に与える影響を分析すること。
• 最も効果的なMVMレシピを統合した、拡張されたエンドツーエンドの動画・言語モデルVIOLETv2の開発と検証すること。
• MVM目的の有効性が、動画・テキスト学習と画像・テキスト学習の間で顕著に異なることが明らかになること。

提案手法

• 本研究は、生の動画フレームを処理し、MVMの監視信号からピクセルレベルの特徴へ逆誤差伝搬を可能にする、完全にエンドツーエンドの動画・言語トランスフォーマーであるVIOLETに基づく。
• 8種類の異なるMVMターゲットを評価：RGBピクセル値、方向勾配のヒストグラム（HOG）、深度マップ、オプティカルフロー、離散的視覚トークン（VQ）、空間的焦点をもつ画像特徴（SIF）、時間的注意をもつ動画特徴（TVF）、およびCLIPからのマルチモーダル特徴（MMF）。
• 事前学習段階では、空間的および時間的次元にわたりランダムにパッチがマスキングされ、モデルはマスキングされた視覚的ターゲットを再構築するように訓練される。
• モデルは、動画・テキストマッチング（VTM）とマスクド言語モデリング（MLM）を併用して、マルチタスク学習の目的関数として同時に事前学習される。
• 最も優れたMVM目的（SIF）がVIOLETv2に統合され、13の下流VidLベンチマークで微調整される。
• マスキング比率、戦略、および複数のMVM目的の組み合わせに関する広範なアブレーションスタディが、訓練の最適化のために実施される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの動画・言語事前学習において、どのマスクドビジュアルモデリング（MVM）目的が最も顕著な性能向上をもたらすか？
• RQ2 MVM目的の有効性は、動画・テキスト学習と画像・テキスト学習のシナリオでどのように異なるか？
• RQ3 効果的なMVM訓練のための最適なマスキング戦略と比率は何か？
• RQ4 複数のMVM目的の組み合わせが下流性能に与える影響は何か？
• RQ5 生の動画入力でMVMを用いたエンドツーエンド訓練は、抽出された特徴で事前学習されたモデルを上回ることができるか？

主な発見

• 空間的焦点をもつ画像特徴（SIF）は、RGBピクセル、HOG、深度、オプティカルフローなど他のターゲットよりも顕著に優れたMVM目的である。
• SIFに基づくMVMによる性能向上は、動画・テキスト学習に特有のものである。画像・テキストペアに適用した場合、SIFは下流性能を著しく低下させるため、モダリティに特化した有効性であることが示された。
• SIFに基づくMVMで事前学習されたVIOLETv2は、同じ500万件の動画・テキストコーパスで事前学習されたモデルと比較して、動画質問応答で平均+5.4%の精度向上、テキストから動画への検索で+6.6%の再現率向上、動画キャプションで+11.4のCIDEr向上を達成した。
• 少ないデータで事前学習された場合でも、VIOLETv2は元のVIOLETモデルを上回る性能を示しており、提案されたMVM戦略の効率性とスケーラビリティが裏付けられた。
• MVMの最適なマスキング比率は、空間的・時間的パッチの約30–50%であり、この比率を超えると過剰な監視により性能が低下することがわかった。
• SIFにVQやHOGなどの他のMVM目的を組み合わせてもわずかな向上しか得られず、SIF単体で十分に高い性能を達成できることを示唆している。