[論文レビュー] Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning

Dezhao Luo, Chang Liu+5 more|arXiv (Cornell University)|Jan 2, 2020

Human Pose and Action Recognition参考文献 28被引用数 24

ひとこと要約

本論文では、動画クリップをマスキングし、多様な空間時間的演算を適用して「選択肢」を生成し、3次元畳み込みニューラルネットワーク（3D-CNN）を用いてその演算タイプを予測するという自己教師あり手法であるVideo Cloze Procedure（VCP）を提案する。VCPは、アクション認識および動画検索のベンチマークで最先端の性能を達成し、従来の自己教師あり手法と比較して顕著な優位性を示す。

ABSTRACT

We propose a novel self-supervised method, referred to as Video Cloze Procedure (VCP), to learn rich spatial-temporal representations. VCP first generates "blanks" by withholding video clips and then creates "options" by applying spatio-temporal operations on the withheld clips. Finally, it fills the blanks with "options" and learns representations by predicting the categories of operations applied on the clips. VCP can act as either a proxy task or a target task in self-supervised learning. As a proxy task, it converts rich self-supervised representations into video clip operations (options), which enhances the flexibility and reduces the complexity of representation learning. As a target task, it can assess learned representation models in a uniform and interpretable manner. With VCP, we train spatial-temporal representation models (3D-CNNs) and apply such models on action recognition and video retrieval tasks. Experiments on commonly used benchmarks show that the trained models outperform the state-of-the-art self-supervised models with significant margins.

研究の動機と目的

• アクション認識および動画検索のための大規模な動画データセットへのアノテーションの高コストと複雑さに対処するため。
• 従来の代理タスクよりもより強固で判別力のある空間時間的表現を学習できる自己教師ありフレームワークを開発するため。
• VCPをターゲットタスクとして用いることで、自己教師あり表現学習のための統一的かつ解釈可能な評価プロトコルを導入するため。
• 事前学習中に多様な空間時間的演算を組み込むことで、モデルの柔軟性と表現品質を向上させるため。

提案手法

• VCPは、動画シーケンスからランダムに選択された動画クリップをマスキングすることで「空白」を生成する。
• マスキングされたクリップにさまざまな空間時間的演算（例：フレームのシャッフル、カラーのジャイタリング、クロッピング）を適用して「選択肢」を生成する。
• 3D-CNNを、周囲のコンテキストを入力として用い、マスキングされたクリップに適用された演算のカテゴリを予測するように訓練する。
• この手法は、自己教師あり学習における代理タスク（事前学習用）およびターゲットタスク（モデル評価用）の両方として機能する。
• フレームワークは複数の3D-CNNアーキテクチャ（C3D、R3D、R(2+1)D）に適用され、アクション認識および動画検索のベンチマークで評価されている。
• バックボーンから抽出された特徴量を用いて、標準的なプロトコルに従って微調整を行い、下流タスクでの評価が行われている。

実験結果

リサーチクエスチョン

• RQ1 動画クローズコンプリートに基づく自己教師あり代理タスクは、従来の手法と比較してより判別力のある空間時間的表現を学習できるか？
• RQ2 VCOPなどの最先端の自己教師あり手法と比較して、VCPの表現品質および一般化性能はどのように異なるか？
• RQ3 VCPは、自己教師あり表現モデルの評価に信頼性があり解釈可能なターゲットタスクとして機能できるか？
• RQ4 VCPで多様な空間時間的演算を用いることで、下流の動画理解タスクでの性能向上が達成できるか？

主な発見

• UCF101データセットでは、VCPで訓練されたC3Dモデルがトップ1正解率68.5％を達成し、以前の最先端手法VCOPを2.9ポイント上回った。
• HMDB51では、VCPで訓練されたC3Dモデルがトップ1正解率32.5％を達成し、VCOPベースラインより4.1ポイント向上した。
• R3Dバックボーンを用いる場合、VCPはUCF101でランダム初期化より11.5%、VCOPより1.1%の正解率向上を達成した。
• UCF101における動画検索では、R3Dを用いたVCPがトップ50正解率68.1％を達成し、VCOPを1.6ポイント上回り、ランダム初期化より16.2ポイントも上回った。
• HMDB51では、R3Dを用いたVCPがトップ50正解率76.4％を達成し、VCOPより7.5ポイント、ランダム初期化より8.5ポイント向上した。
• 図5の定性的な結果は、VCPモデルがベースライン手法よりもより意味的に関連性の高い動画を検索できていることを確認している。