[論文レビュー] Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction

Longlong Jing, Xiaodong Yang+2 more|arXiv (Cornell University)|Nov 28, 2018

Human Pose and Action Recognition参考文献 61被引用数 143

ひとこと要約

本論文は3DRotNetを提案する。回転変換を予測することによって時空間的な動画特徴を学習する完全な自己教師付きの3D CNNであり、小規模データセットでのアクション認識への転移を強力に実現する。

ABSTRACT

The success of deep neural networks generally requires a vast amount of training data to be labeled, which is expensive and unfeasible in scale, especially for video collections. To alleviate this problem, in this paper, we propose 3DRotNet: a fully self-supervised approach to learn spatiotemporal features from unlabeled videos. A set of rotations are applied to all videos, and a pretext task is defined as prediction of these rotations. When accomplishing this task, 3DRotNet is actually trained to understand the semantic concepts and motions in videos. In other words, it learns a spatiotemporal video representation, which can be transferred to improve video understanding tasks in small datasets. Our extensive experiments successfully demonstrate the effectiveness of the proposed framework on action recognition, leading to significant improvements over the state-of-the-art self-supervised methods. With the self-supervised pre-trained 3DRotNet from large datasets, the recognition accuracy is boosted up by 20.4% on UCF101 and 16.7% on HMDB51 respectively, compared to the models trained from scratch.

研究の動機と目的

• ラベル付けコストのため大規模な動画データセットでのラベルなし学習を動機付ける。
• 空間的および時間的な動画手がかりを共同で捉える回転予測の事前タスクを提案する。
• 自己教師付きの事前学習が小規模データセットでの下流のアクション認識を改善することを示す。
• 回転予測から学習した特徴がデータセット間およびタスク間で効果的に転移することを示す。

提案手法

• 時空間特徴を学習するために3D ResNet-18のバックボーンを用いる。
• 各動画クリップに対して4つの離散的な回転（0°, 90°, 180°, 270°）を適用する。
• 適用された回転を分類目的（クロスエントロピー）または回帰（任意）で予測するFを訓練する。
• 大規模なラベルなし動画データセット（Kinetics, Moment in Time）で事前訓練を行い、アクション認識タスクへ転移させる。
• 転移性能を評価するためにUCF101とHMDB51で学習した特徴を微調整する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで回転予測事前タスクを解くことで3D CNNは意味のある時空間的動画表現を学習できるか。
• RQ2 自己教師付き特徴は小規模データセットのアクション認識へ転移する際、scratchや他の自己教師付き手法と比較して効果的か。
• RQ3 回転数、入力モダリティ（RGB vs DIF）、クリップ長などの要因が学習表現と転移性能へどのように影響するか。

主な発見

• Kinetics/Moment in Timeでの回転予測による事前訓練はscratchに比べて大幅な利得を生み、転移後にUCF101で+20.4ポイント、HMDB51で+16.7ポイントを達成する。
• 回転予測タスクは空間的および時間的手がかりの両方の学習を可能にし、アテンションマップは監督ありモデルと類似した動く主題への前景フォーカスを示す。
• 3DRotNet-RGB、-DIF、-Fusionの各変種はUCF101とHMDB51の両方で従来の自己教師付き手法を上回り、Fusionはそれぞれ76.6%（UCF101）と47.0%（HMDB51）を達成する。
• より長い入力クリップとDIF（差分フレーム）はより強い時間信号を提供し、アクション認識性能を向上させる。
• 事前訓練時に使用する回転数が多いほど転移性能は良くなる傾向があり、4回転構成より8/360度設定は上回らなかった。