[論文レビュー] Learning Video Representations using Contrastive Bidirectional Transformer

Chen Sun, Fabien Baradel+2 more|arXiv (Cornell University)|Jun 13, 2019

Human Pose and Action Recognition参考文献 65被引用数 230

ひとこと要約

本論文は、Contrastive Bidirectional Transformer (CBT) を導入し、実数値のフレーム特徴の系列から自己教師付きの映像表現を学習する。ASRテキストからのオプションのクロスモーダル学習を用い、映像分類、キャプション生成、セグメンテーションで最先端の結果を達成する。

ABSTRACT

This paper proposes a self-supervised learning approach for video features that results in significantly improved performance on downstream tasks (such as video classification, captioning and segmentation) compared to existing methods. Our method extends the BERT model for text sequences to the case of sequences of real-valued feature vectors, by replacing the softmax loss with noise contrastive estimation (NCE). We also show how to learn representations from sequences of visual features and sequences of words derived from ASR (automatic speech recognition), and show that such cross-modal training (when possible) helps even more.

研究の動機と目的

• ラベルなしで堅牢な映像表現を学習し、分類、キャプション、セグメンテーションなどの下流タスクに適用する動機づけ。
• 実数値の映像特徴の系列に対して、BERTスタイルの双方向コンテキストモデリングをコントラスト損失を用いて適用する。
• ASR由来のトークンを共同利用して、映像特徴との相互情報を最大化するクロスモーダル学習を探索する。
• 標準ベンチマーク（例：UCF101、HMDB51）およびより長い時間的表現に対する、従来の自己教師付き手法に対する改善を示す。

提案手法

• ノイズ対照推定（NCE）目的を用いて、実数値の映像特徴列に対するBERTスタイルの事前学習を拡張する。
• S3D CNNで短いフレーム窓をエンコードしてフレームレベル特徴を生成し、双方向トランスフォーマを文脈予測子として適用する。
• NCEを用いて、文脈からマスクされたフレーム特徴の予測可能性を最大化し、双方向の時系列表現を促進する。
• クロスモーダル・トランスフォーマを導入し、映像特徴と任意のASRテキストトークンとの相互情報を最大化する。フレームレベルのアライメントではなく、シーケンスレベルで集約する。
• 統合目的として三つの損失を組み合わせる：L_cbt = w_bert L_bert（事前学習済み、凍結） + w_visual L_visual + w_cross L_cross；実務上 w_bert は 0、w_visual は 1、w_cross はクロスモーダル学習の有無に応じて 1 または 0。
• Kinetics および HowTo100M での視覚情報のみの CBT 事前学習を評価し、下流タスク（アクション認識、キャプション、セグメンテーション）への線形プロービングまたはファインチューニングを実施。

実験結果

リサーチクエスチョン

• RQ1 BERTスタイルの双方向トランスフォーマを、実数値の映像特徴列に対してコントラスト損失を用いてどれだけ効果的に学習できるか？
• RQ2 ASRからのクロスモーダル信号を取り入れることで、映像とテキストのアラインメントが不完全な場合でも学習された映像表現は改善されるか？
• RQ3 自己教師付き CBT の事前学習が、短期アクション認識と長期的な時間表現の両方に与える影響は？
• RQ4 学習した表現は、映像分類、セグメンテーション、キャプションなどの下流タスクへ、従来の自己教師付き手法と比べてどの程度転移するか？

主な発見

方法	UCF101 (Fine-tuned)	HMDB51 (Fine-tuned)	UCF101 (Frozen)	HMDB51 (Frozen)
Random	63.3	29.7	25.7	11.5
Shuffle&Learn*	68.7	35.8	26.5	12.6
3DRotNet*	75.3	40.0	47.7	24.8
CBT (ours)	79.5	44.5	54.0	29.5

• CBTベースの自己教師付き学習は、ファインチューニング時に従来手法と比較してUCF101およびHMDB51でアクション認識を大幅に改善（例：UCF101 79.5 対 75.3、HMDB51 44.5 対 40.0、類似のベースラインでの比較）。
• ASR信号を用いたクロスモーダル事前学習は、アクション予測タスクの小規模データセットでさらなる改善をもたらし、HowTo100M から学習された長期的な時間表現を改善する。
• CBTは実数値フレーム特徴の系列に対するトランスフォーマを用いた文脈モデルを活用することで、ベクトル量子化を避け、微細な情報の損失を抑えつつPrior自己教師付き手法を上回る。
• CBTで学習された時系列表現は長いシーケンスにスケールし、平均プーリングやLSTMと比較して映像長が長くなるほど優れた性能を示す。
• キャプションとセグメンテーションでは、CBTベースの表現が言語およびフレームラベリング指標（例：BLEU-4、METEOR、ROUGE-L、CIDEr）を向上させ、COINとYouCook2データセットで競争力のあるフレームタグ付け性能を示す。
• VideoBERT他のアプローチと比較して、CBTは離散的な視覚トークンを必要とせず、実数値特徴モデリングとクロスモーダル相互情報の恩恵を受けて強力な結果を達成する。