[論文レビュー] Motion-Focused Contrastive Learning of Video Representations

Rui Li, Yiheng Zhang+4 more|arXiv (Cornell University)|Jan 11, 2022

Human Pose and Action Recognition参考文献 23被引用数 4

ひとこと要約

本稿では、自己教師あり動画表現学習手法として、動きを用いてデータ拡張と特徴学習を誘導するモーション・フォーカスド・コンタスティブ・ラーニング（MCL）を提案する。空間的・時間的動きマップに基づいてチューブレットをサンプリングし、畳み込み層の勾配を動きマップに一致させることで、MCLは線形評価プロトコル下でUCF101（81.91%のトップ1正解率）およびKinetics-400（66.62%のトップ1正解率）でImageNet教師あり事前学習を上回る最先端の性能を達成する。

ABSTRACT

Motion, as the most distinct phenomenon in a video to involve the changes over time, has been unique and critical to the development of video representation learning. In this paper, we ask the question: how important is the motion particularly for self-supervised video representation learning. To this end, we compose a duet of exploiting the motion for data augmentation and feature learning in the regime of contrastive learning. Specifically, we present a Motion-focused Contrastive Learning (MCL) method that regards such duet as the foundation. On one hand, MCL capitalizes on optical flow of each frame in a video to temporally and spatially sample the tubelets (i.e., sequences of associated frame patches across time) as data augmentations. On the other hand, MCL further aligns gradient maps of the convolutional layers to optical flow maps from spatial, temporal and spatio-temporal perspectives, in order to ground motion information in feature learning. Extensive experiments conducted on R(2+1)D backbone demonstrate the effectiveness of our MCL. On UCF101, the linear classifier trained on the representations learnt by MCL achieves 81.91% top-1 accuracy, outperforming ImageNet supervised pre-training by 6.78%. On Kinetics-400, MCL achieves 66.62% top-1 accuracy under the linear protocol. Code is available at https://github.com/YihengZhang-CV/MCL-Motion-Focused-Contrastive-Learning.

研究の動機と目的

• 自己教師あり動画表現学習における動きの重要性を調査すること。
• データ拡張と特徴最適化に動き情報を明示的に組み込むことで、対照学習を改善すること。
• 動きダイナミクスに基づいて意味のある空間的・時間的チューブレットをサンプリングする手法を開発すること。
• 畳み込み層の勾配マップを光学的流れマップに一致させ、学習された特徴に動きを固定すること。
• モーション・フォーカスドの自己教師あり事前学習が、下流の動画ベンチマークでImageNet教師あり事前学習を上回ることを実証すること。

提案手法

• 無教師学習のTV-L1アルゴリズムを用いて各フレームの高密度光学的流れを抽出し、動きマップを生成する。
• 連続するフレームレベルの動きマップを積み重ねることで、各動画クリップごとに空間的・時間的動きマップ（ST-movement）を構築する。
• ST-movementに3次元平均プーリングを適用し、クリップレベルの動きを計算し、高い動きを持つクリップを時間的拡張の候補として選択する。
• 選択されたクリップのST-movementマップに時間的プーリングを適用し、空間的動き（S-movement）を推定し、時間的に一貫した空間的パッチ（チューブレット）を局所化する。
• 各チューブレットに対してST-movementマップを抽出し、空間的または時間的プーリングを適用してT-movementまたはS-movementマップを生成する。
• 畳み込み層の勾配マップと動きマップ（S-movement、T-movement、ST-movement）の平均二乗誤差を最小化することで、特徴を動きダイナミクスに一致させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり動画表現学習において、動きはどの程度重要か？
• RQ2 動きをガイドとするデータ拡張は、動画表現学習における対照学習を改善できるか？
• RQ3 特徴の勾配を動きマップに一致させることで、学習された表現の判別力は向上するか？
• RQ4 モーション・フォーカスドの自己教師あり事前学習は、ImageNet教師あり事前学習を動画ベンチマークで上回るか？
• RQ5 MCLで学習された表現は、下流の動画理解タスクにどの程度汎用可能か？

主な発見

• UCF101では、線形評価プロトコル下で81.91%のトップ1正解率を達成し、ImageNet教師あり事前学習を6.78ポイント上回った。
• Kinetics-400では、線形プロトコル下で66.62%のトップ1正解率を達成し、大規模データセットでも優れた一般化性能を示した。
• UCF101およびHMDB51で微調整した場合、R(2+1)Dバックボーンを用いたMCL事前学習は、90.40%および61.30%の正解率を達成し、SeCo や DynamoNet を含む先行SOTA手法を上回った。
• 動画検索タスクでは、R(2+1)Dバックボーンを用いたMCLが、UCF101で80.4%のRecall@1、HMDB51で68.9%のRecall@1を達成し、2ストリーム入力のCoCLRを上回った。
• Grad-CAMの可視化により、MCLの注視マップがSeCoよりもS-movementマップにより密接に一致していることが示され、動き関連領域の局所化が優れていることがわかった。
• 本手法は強力な転移性を示し、アクション認識や動画検索を含む複数の下流タスクで最先端の結果を達成した。