[論文レビュー] Skip-Clip: Self-Supervised Spatiotemporal Representation Learning by Future Clip Order Ranking

Alaaeldin El-Nouby, Shuangfei Zhai+2 more|arXiv (Cornell University)|Oct 28, 2019

Human Pose and Action Recognition参考文献 21被引用数 12

ひとこと要約

Skip-Clip は、完全なフレーム予測を必要とせず、時間的整合性を活用することで、未来の動画クリップを文脈クリップに対して順序付けする 3D CNN を訓練する自己教師あり時空間表現学習手法を提案する。UCF101 におけるアクション認識でトップ1正答率 64.4% を達成し、ランダム初期化より 51.8% 高く、ImageNet ファインチューニング重みを上回り、自己教師あり手法の中でも最先端の性能を示し、優れた転移性と競争力を示した。

ABSTRACT

Deep neural networks require collecting and annotating large amounts of data to train successfully. In order to alleviate the annotation bottleneck, we propose a novel self-supervised representation learning approach for spatiotemporal features extracted from videos. We introduce Skip-Clip, a method that utilizes temporal coherence in videos, by training a deep model for future clip order ranking conditioned on a context clip as a surrogate objective for video future prediction. We show that features learned using our method are generalizable and transfer strongly to downstream tasks. For action recognition on the UCF101 dataset, we obtain 51.8% improvement over random initialization and outperform models initialized using inflated ImageNet parameters. Skip-Clip also achieves results competitive with state-of-the-art self-supervision methods.

研究の動機と目的

• 動画アノテーションの高コストを軽減するため、動画内の時間的整合性を活用する自己教師あり手法の開発。
• 巡回的または対称的な動きによって生じる曖昧さやノイズが発生する可能性がある従来のフレーム順序指定および未来予測の事前学習タスクの限界を克服。
• 回帰的ランク付けと回転予測や対照的学習といった補助目的を組み合わせることで、学習済み表現の一般化性能を向上。
• 自己教師あり学習のための事前学習に、ラベルなし動画データのみを用いて、下流のアクション認識タスクへの強力な転移性能を実証。
• Kinetics のような大規模事前学習データセットに依存せず、単純な文脈条件付きランク付け目的でも競争力のある結果が得られることを示すこと。

提案手法

• 動画から文脈クリップと複数の未来クリップをサンプリングし、3D CNN を用いて文脈に基づき未来クリップの相対的順序をランク付けするように訓練。
• 各未来クリップの正しい相対的位置を予測するためのランク付け目的を用い、モデルが時間的ダイナミクスや運動パターンを学習するよう促進。
• 特徴品質の向上と自明な解を防ぐために、ターゲットエンコーダーに補助的な回転予測ヘッドを追加。
• 正例となる未来クリップと他のクリップからのネガティブサンプルとの間に対照的損失を適用し、特徴の識別性能を向上。
• 文脈クリップエンコーダーは、グローバル平均プーリングとソフトマックス分類器を用いた標準的な教師あり学習により、下流のアクション認識タスクでファインチューニング。
• モデルは 3D ResNet-18 バックボーンを採用し、112×112 にクロップされた 16 フレームのクリップを入力とし、Adam 最適化法と学習率スケジューリングで訓練。

実験結果

リサーチクエスチョン

• RQ1 文脈クリップに対して未来クリップの順序をランク付けする自己教師あり事前学習タスクは、ランダム初期化や ImageNet 初期化よりも一般化性の高い時空間表現を学習できるか？
• RQ2 回転予測や対照的学習といった補助目的と組み合わせた文脈に依存するランク付けは、表現品質と下流タスク性能を向上させるか？
• RQ3 フレーム順序指定や未来予測に依存する他の自己教師あり手法と比較して、曖昧な時間的パターンに対してどれほど頑健か？
• RQ4 Kinetics のような大規模データセットではなく、UCF101 のような小規模データセットでの事前学習でも、最先端の手法と同等の性能を達成できるか？
• RQ5 標準的なフレーム順序指定や未来予測タスクと比較して、提案手法のランク付けベースのアプローチは、どの程度の曖昧さを低減するか？

主な発見

• Skip-Clip は UCF101 におけるアクション認識でトップ1正答率 64.4% を達成し、ランダム初期化と比較して 51.8% の向上を示した。
• 通常強力なベースラインとされる ImageNet ファインチューニング重みを用いたモデルを上回った。
• 回転予測の補助目的を追加することで性能が 3.6% 向上し、これは自明な解を防ぎ、特徴品質を向上させる役割を果たしていることを示している。
• 回転損失と対照的損失の両方を含む完全なモデルは 64.4% の正答率を達成し、2D CNN を用いた自己教師あり手法すべてを上回り、最先端のアプローチと同等の性能を示した。
• UCF101 のみで事前学習したにもかかわらず、3DCubicPuzzles と同等の性能を達成した一方で、Kinetics を用いた事前学習の手法よりも、同じデータセットで比較した際に優れた性能を示した。
• アブレーションスタディにより、ランク付け、回転予測、対照的学習の組み合わせが最適な性能を発揮するために不可欠であることが確認され、各コンポONENTが最終結果に顕著な寄与を果たしていることが示された。