[論文レビュー] RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning

Peihao Chen, Deng Huang+6 more|arXiv (Cornell University)|Oct 27, 2020

Human Pose and Action Recognition被引用数 16

ひとこと要約

RSPNet は、相対再生速度知覚 (RSP) と外観中心の動画インスタンス識別 (A-VID) を用いて、動きと外観特徴を共同で学習する、新しい非教師あり動画表現学習フレームワークを提案する。絶対速度予測の代わりに相対速度比較を採用し、速度拡張付きインスタンス識別タスクを導入することで、ラベルなし事前学習データを一切使用せずに UCF101 で 93.7% の正確性を達成した。

ABSTRACT

We study unsupervised video representation learning that seeks to learn both motion and appearance features from unlabeled video only, which can be reused for downstream tasks such as action recognition. This task, however, is extremely challenging due to 1) the highly complex spatial-temporal information in videos; and 2) the lack of labeled data for training. Unlike the representation learning for static images, it is difficult to construct a suitable self-supervised task to well model both motion and appearance features. More recently, several attempts have been made to learn video representation through video playback speed prediction. However, it is non-trivial to obtain precise speed labels for the videos. More critically, the learnt models may tend to focus on motion pattern and thus may not learn appearance features well. In this paper, we observe that the relative playback speed is more consistent with motion pattern, and thus provide more effective and stable supervision for representation learning. Therefore, we propose a new way to perceive the playback speed and exploit the relative speed between two video clips as labels. In this way, we are able to well perceive speed and learn better motion features. Moreover, to ensure the learning of appearance features, we further propose an appearance-focused task, where we enforce the model to perceive the appearance difference between two video clips. We show that optimizing the two tasks jointly consistently improves the performance on two downstream tasks, namely action recognition and video retrieval. Remarkably, for action recognition on UCF101 dataset, we achieve 93.7% accuracy without the use of labeled data for pre-training, which outperforms the ImageNet supervised pre-trained model. Code and pre-trained models can be found at https://github.com/PeihaoChen/RSPNet.

研究の動機と目的

• 自己教師あり動画表現学習における再生速度ラベルの不正確さと一貫性の欠如という課題に対処すること。
• クリップ間の相対速度を用いることで、より安定的で一貫性のある監視信号として、動き特徴の学習を改善すること。
• 拡張されたインスタンス識別タスクを通じて、明示的にモデルが判別可能な外観特徴を学習するよう促すこと。
• より良い下流性能を得るために、動きと外観表現学習を共同で最適化すること。
• ラベルなしデータによる事前学習を一切使用せずに、行動認識および動画検索で最先端の性能を示すこと。

提案手法

• 絶対速度の代わりに、同じ動画内の2つのクリップ間の相対再生速度を予測する、予備的タスクとしての相対再生速度知覚 (RSP) を提案する。
• 類似度計算のための 128次元空間への特徴マッピングを実行するためのプロジェクションヘッドを備えた対照的学習設定を用いる。
• A-VID タスクにおいて、動きを変化させながら外観を保持するように、正例クリップペアを生成するための速度拡張戦略を導入し、外観特徴学習を強化する。
• 動き（RSP）と外観（A-VID）のタスクにそれぞれ別々のプロジェクションヘッドを持つ二重ブランチネットワークを採用し、独立した最適化を可能にする。
• クラスアクティビティマッピング (CAM) を用いて、注目領域（RoI）の注視を可視化し、モデルが動きが豊富な領域や外観で判別性の高い領域に注目していることを示す。
• Kinetics-400 で学習し、UCF101 でトップ-k 精度と検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 相対再生速度は、絶対速度予測に比べて、動き表現学習のためのより一貫性があり効果的な監視信号を提供できるか？
• RQ2 インスタンス識別を動画ドメインに効果的に適応させることで、外観特徴の学習を促進できるか？
• RQ3 相対再生速度知覚と外観中心の対照的学習を共同で最適化することで、下流の動画理解性能が向上するか？
• RQ4 モデルは各予備的タスクに対して、判別性のある空間的・時間的領域に注目しているか？
• RQ5 RSPNet を用いた非教師あり事前学習により、ラベルなしデータを一切使用せずに、行動認識で最先端の性能を達成できるか？

主な発見

• RSPNet は、ラベルなし事前学習を Kinetics-400 で実施したのみで、UCF101 における行動認識でトップ-1 精度 93.7% を達成した。
• Pace などの最先端ベースラインをすべてのトップ-k 検索指標で上回った。
• 定性的な検索結果から、モデルは動きと外観が非常に類似した動画を効果的に検索していることが示され、効果的な共同特徴学習が行われていることが裏付けられた。
• RoI の可視化により、RSP ヘッドが動きが豊富な領域（例：動く四肢）に注目しているのに対し、A-VID ヘッドは判別性の高い外観的特徴（例：衣類の模様、顔の特徴）に注目していることが確認された。
• 相対速度ラベルの使用により、絶対速度予測に見られるラベルの一貫性の欠如問題が軽減され、より安定的で効果的な動き表現学習が可能になった。
• A-VID における速度拡張戦略により、モデルが外観不変特徴を学習するよう促され、動きの変化に対してより頑健になった。