[論文レビュー] Video Representation Learning by Dense Predictive Coding

Tengda Han, Weidi Xie+1 more|arXiv (Cornell University)|Sep 10, 2019

Human Pose and Action Recognition参考文献 49被引用数 48

ひとこと要約

Dense Predictive Coding（DPC）は、密な逐次的な方法で将来の埋め込みを予測することにより、自己監督型の時空間ビデオ表現を学習し、将来予測を拡張するカリキュラムを用いて、RGBフレームのみから高いアクション認識性能を達成します。

ABSTRACT

The objective of this paper is self-supervised learning of spatio-temporal embeddings from video, suitable for human action recognition. We make three contributions: First, we introduce the Dense Predictive Coding (DPC) framework for self-supervised representation learning on videos. This learns a dense encoding of spatio-temporal blocks by recurrently predicting future representations; Second, we propose a curriculum training scheme to predict further into the future with progressively less temporal context. This encourages the model to only encode slowly varying spatial-temporal signals, therefore leading to semantic representations; Third, we evaluate the approach by first training the DPC model on the Kinetics-400 dataset with self-supervised learning, and then finetuning the representation on a downstream task, i.e. action recognition. With single stream (RGB only), DPC pretrained representations achieve state-of-the-art self-supervised performance on both UCF101(75.7% top1 acc) and HMDB51(35.7% top1 acc), outperforming all previous learning methods by a significant margin, and approaching the performance of a baseline pre-trained on ImageNet.

研究の動機と目的

• アクション認識に適した時空間ビデオ埋め込みの自己監督学習を動機付ける。
• 過去の文脈から将来の密な表現を予測する Dense Predictive Coding（DPC）を導入する。
• 時間的文脈を徐々に減らし、さらに未来を予測するカリキュラム学習方式を提案する。
• RGBストリームを用いたDPCがUCF101とHMDB51で最先端の自己 supervised結果を達成し、ImageNet-pretrainedベースラインに近づくことを示す。
• 自己監督学習による利得と下流の教師あり性能との相関を評価する。

提案手法

• 3D-ResNetエンコーダでビデオブロックを符号化し z_t を得る。
• 過去の潜在コード z_t を ConvGRU で集約して文脈 c_t を形成する。
• 未来の埋め込み hat{z}_{t+1}, hat{z}_{t+2}, ... を小さな予測子  を用いて予測する。
• 空間的位置と時間ステップ全体にわたる密な多方向の Noise Contrastive Estimation (NCE) 損失で訓練する。
• 光学的フローに依存しないようフレームごとの拡張を用い、未来予測の範囲を拡張するためにカリキュラム学習を採用する。
• 下流のアクション認識タスクで学習表現を任意でファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 RGBビデオからの密な時空間埋め込みの自己監督学習は、アクション認識に競争力のある表現を生み出せるか？
• RQ2 カリキュラム型スケジュールで将来を予測することは意味表現学習を改善するか？
• RQ3 標準的なアクション認識ベンチマークで、DPCは従来の自己監督手法とどう比較されるか？
• RQ4 密な予測的、逐次的アプローチは、単一ベクトルへの射影と比較して有用な動画表現の学習に必須か？

主な発見

• DPCは RGBストリームを用いた場合、UCF101（いくつかの設定で top1 75.7%）と HMDB51（top1 35.7%）で自己監督性能の最先端を達成し、従来のRGBのみ手法を上回る。
• カリキュラム学習を用いた未来の時空間ブロックの密で逐次的な予測は、学習表現と下流のアクション認識を改善する。
• より大規模なデータセット（Kinetics-400）での事前学習は、UCF101のみに基づく学習より下流性能を強化し、規模の利点を示す。
• DPC事前学習中の自己監督精度と下流の教師ありアクション認識精度との間に正の相関がある。
• 将来をさらに予測すること（カリキュラム下）は、延長タスクの自己監督精度が低くても下流性能を高める可能性があり、より強い意味学習を示す。