[論文レビュー] Self-supervised Video Representation Learning by Context and Motion Decoupling

Lianghua Huang, Yu Liu+4 more|arXiv (Cornell University)|Apr 2, 2021

Human Pose and Action Recognition参考文献 60被引用数 5

ひとこと要約

本論文は、圧縮動画（例：H.264）からのIフレームと動きベクトルを用いて、文脈と動きの監視を明示的に分離する自己教師付き動画表現学習手法を提案する。対照的文脈一致タスクと点ごとの動き予測タスクを対照的学習により共同最適化することで、最先端の性能を達成し、UCF101とHMDB51における動画検索の再現率でそれぞれ16.0%および11.1%の絶対的向上を達成した。

ABSTRACT

A key challenge in self-supervised video representation learning is how to effectively capture motion information besides context bias. While most existing works implicitly achieve this with video-specific pretext tasks (e.g., predicting clip orders, time arrows, and paces), we develop a method that explicitly decouples motion supervision from context bias through a carefully designed pretext task. Specifically, we take the keyframes and motion vectors in compressed videos (e.g., in H.264 format) as the supervision sources for context and motion, respectively, which can be efficiently extracted at over 500 fps on the CPU. Then we design two pretext tasks that are jointly optimized: a context matching task where a pairwise contrastive loss is cast between video clip and keyframe features; and a motion prediction task where clip features, passed through an encoder-decoder network, are used to estimate motion features in a near future. These two tasks use a shared video backbone and separate MLP heads. Experiments show that our approach improves the quality of the learned video representation over previous works, where we obtain absolute gains of 16.0% and 11.1% in video retrieval recall on UCF101 and HMDB51, respectively. Moreover, we find the motion prediction to be a strong regularization for video networks, where using it as an auxiliary task improves the accuracy of action recognition with a margin of 7.4%~13.8%.

研究の動機と目的

• 自己教師付き動画表現学習における文脈バイアスの課題に取り組むために、文脈と動きの監視を明示的に分離する。
• 光学フロー や密な軌跡のような高コストな特徴量を避ける、スケーラブルで効率的な事前学習タスクを開発する。
• 共有の動画バックボーンと個別のヘッドを用いて、文脈一致と動き予測タスクを共同最適化することで、動画表現の質を向上させる。
• 動き予測が微調整時の行動認識タスクにおける強力な正則化子として機能することを検証する。
• 圧縮動画のコンponents（Iフレームと動きベクトル）を自己教師学習の監視信号として使用する有効性を示す。

提案手法

• CPU上で500 fpsを超える速度で抽出された、圧縮動画（例：H.264）からのIフレームを、文脈表現の監視に使用する。
• 同じ圧縮動画からの動きベクトルマップを、動き表現の監視に使用し、効率的かつスケーラブルな特徴抽出を可能にする。
• ノイズ対照推定（NCE）損失を用いた文脈一致タスクを設計し、動画クリップと対応するIフレームのグローバル特徴を対照的に比較する。
• エンコーダ・デコーダネットワークを用いて、各空間的・時系列的位置での将来の動き特徴を点ごとに予測する動き予測タスクを導入する。
• 予測された動き特徴と真値の動き特徴を対照的に比較することで、安定性と転移性能を向上させる対照的学習を適用する。
• 共有の動画バックボーンと、文脈と動き予測のための個別のMLPヘッドを用いて、両事前学習タスクを共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 文脈と動きの監視を明示的に分離することで、暗黙の方法と比較して自己教師付き動画表現学習が向上するか？
• RQ2 標準的な動画圧縮（例：H.264）から得られるIフレームと動きベクトルが、自己教師学習のための効果的で効率的かつスケーラブルな監視信号として有効であるか？
• RQ3 文脈一致と動き予測のタスクを共同最適化することで、行動認識および動画検索の下流性能が向上するか？
• RQ4 動き予測が教師あり微調整の過程で、動画ネットワークに対してどの程度の正則化子として機能するか？
• RQ5 事前学習タスクの性能（文脈一致と動き予測）が下流の転移性能とどの程度相関しているか？

主な発見

• 本手法は、UCF101で16.0%、HMDB51で11.1%の絶対的向上を達成し、先行研究を上回る動画検索再現率R@1を実現した。
• Kinetics400で事前学習した場合、先行研究と比較してUCF101で4.8%～7.1%、HMDB51で5.4%～8.0%の精度向上を達成した。
• 動き予測を補助タスクとして用いることで、UCF101およびHMDB51の異なるバックボーンで7.4%～13.8%の行動認識精度向上が得られた。
• 事前学習タスク（文脈一致と動き予測）の性能は、下流の転移性能と強く相関しており、それらの有効性を裏付けた。
• 本フレームワークは、さまざまなバックボーン（C3D、R(2+1)D-26、R3D-26）にわたって一般化が良く、行動認識および動画検索の両方で一貫してベースラインを上回った。
• 動き予測が強力な正則化子であることが判明し、特に難易度の高いデータセット（例：HMDB51）では、教師あり微調整の精度を顕著に向上させた。