[論文レビュー] Parameter Efficient Multimodal Transformers for Video Representation Learning

Sang-Ho Lee, Youngjae Yu+4 more|arXiv (Cornell University)|Dec 8, 2020

Music and Audio Processing参考文献 82被引用数 36

ひとこと要約

この論文は、音声視覚ビデオ表現のためのエンドツーエンド学習可能なマルチモーダルトランスフォーマを、過度なパラメータ共有と低ランク分解で実現し、最大97%のパラメータ削減と、内容認識ネガティブサンプリングと融合戦略分析を導入する。

ABSTRACT

The recent success of Transformers in the language domain has motivated adapting it to a multimodal setting, where a new visual model is trained in tandem with an already pretrained language model. However, due to the excessive memory requirements from Transformers, existing work typically fixes the language model and train only the vision module, which limits its ability to learn cross-modal information in an end-to-end manner. In this work, we focus on reducing the parameters of multimodal Transformers in the context of audio-visual video representation learning. We alleviate the high memory requirement by sharing the parameters of Transformers across layers and modalities; we decompose the Transformer into modality-specific and modality-shared parts so that the model learns the dynamics of each modality both individually and together, and propose a novel parameter sharing scheme based on low-rank approximation. We show that our approach reduces parameters of the Transformers up to 97$\%$, allowing us to train our model end-to-end from scratch. We also propose a negative sampling approach based on an instance similarity measured on the CNN embedding space that our model learns together with the Transformers. To demonstrate our approach, we pretrain our model on 30-second clips (480 frames) from Kinetics-700 and transfer it to audio-visual classification tasks.

研究の動機と目的

• ラベルなしのビデオからトランスフォーマを用いて長期の音声-視覚表現を学習する動機づけ。
• メモリとパラメータ要件を削減することでエンドツーエンドのトレーニングを可能にする。
• トランスフォーマとレイヤ間のパラメータ共有スキームを調査する。
• 自己教師付きの跨モーダル学習を改善する効果的なネガティブサンプリングを提案する。
• 融合戦略を評価し、短時間および長時間のビデオへのダウンストリームタスク転送を実証する。

提案手法

• 三部構成のモデル：視覚/音声のCNNsを用いて短期特徴を抽出、単一モーダルのトランスフォーマで長期文脈、クロスモーダル文脈のためのマルチモーダル・トランスフォーマ。
• モダリティ間およびレイヤ間で共有された低ランクのトランスフォーマ重みを用いたパラメータ削減。W=UΣVᵀとして分解し、共有UとプライベートΣVᵀ。
• 単一モーダルストリームにおける時系列順序を保持するための位置 BOS トークンと時刻埋め込み。
• マルチモーダル・トランスフォーマにおけるモダリティ共有および時刻共有埋め込みでクロスモーダル融合を可能にする。
• InfoNCEを用いたMasked Embedding Prediction (MEP)と、クロスモーダル対応付けのためのCorrect Pair Prediction (CPP)という二つのタスクを用いた自己教師付き事前学習。
• ミニバッチ内のCNN埋め込み類似度に基づいてネガティブを選択するContent-aware negative sampling (CANS)。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率の高いトランスフォーマアーキテクチャは、スクラッチからエンドツーエンドの音声-視覚ビデオ表現を学習できるか？
• RQ2 跨モーダル融合戦略はマルチモーダル表現学習とダウンストリームの性能にどう影響するか？
• RQ3 モダリティ間およびレイヤ間でトランスフォーマ重みを共有することがモデルサイズと精度にどのような影響を及ぼすか？
• RQ4 Content-aware negative samplingはマルチモーダルビデオ表現の自己教師付き学習を改善しますか？
• RQ5 事前学習済みのマルチモーダル表現は短時間および長時間のビデオ分類タスクへどのように転移しますか？

主な発見

• パート共有を用いて、劇的な性能低下を伴わずにTransformerパラメータを最大97%削減（128Mから4Mへ）
• 中間融合は一貫して強力な音声-視覚性能と欠搽モダリティへの頑健性を示す。アブレーションでは、Midは音声-視覚分類でトップ1 65.7%、トップ5 89.9%を達成し、特定の設定でEarlyおよびLate融合を上回る。
• Content-aware negative sampling (CANS-Similar)はMEPを改善し、表1のマルチモーダル結果でトップ1 67.5%、トップ5 92.3%を達成。
• クロスレイヤー重み共有は効果的であり、層を跨いだ共有は性能を損なわず、より小さく高速なモデルを可能にする。
• Kinetics-700またはAudioSetでMid融合とCANS-Similarを用いた事前学習は、短・長 Duration の音声-視覚結果を強力に示し、複数のデータセットでいくつかのベースラインを上回る。