[論文レビュー] A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

Christoph Feichtenhofer, Haoqi Fan+3 more|arXiv (Cornell University)|Apr 29, 2021

Human Pose and Action Recognition参考文献 94被引用数 19

ひとこと要約

本論文は、動画内のクリップ間で時間的特徴の持続性を促進することで、画像ベースの対照的学習フレームワーク（MoCo、SimCLR、BYOL、SwAV）を最小限の変更で動画に一般化する、シンプルかつ効果的な非教師あり時空間表現学習手法を提案する。複数のベンチマークで最先端の性能を達成し、一部のケースでは教師あり事前学習を上回り、長時間（最大60秒）の時間的一貫性が下流タスクの精度を顕著に向上させることを示している。

ABSTRACT

We present a large-scale study on unsupervised spatiotemporal representation learning from videos. With a unified perspective on four recent image-based frameworks, we study a simple objective that can easily generalize all these methods to space-time. Our objective encourages temporally-persistent features in the same video, and in spite of its simplicity, it works surprisingly well across: (i) different unsupervised frameworks, (ii) pre-training datasets, (iii) downstream datasets, and (iv) backbone architectures. We draw a series of intriguing observations from this study, e.g., we discover that encouraging long-spanned persistency can be effective even if the timespan is 60 seconds. In addition to state-of-the-art results in multiple benchmarks, we report a few promising cases in which unsupervised pre-training can outperform its supervised counterpart. Code is made available at https://github.com/facebookresearch/SlowFast

研究の動機と目的

• 時間的特徴の持続性を促進するシンプルで統一的な目的関数が、多様な非教師あり動画表現学習フレームワークに一般化可能かどうかを調査すること。
• Kinetics や Instagram などの大規模な動画データセットを用いた非教師あり事前学習の有効性を、複数の下流タスクで評価すること。
• 表現品質に影響を与える重要なハイパーパrameter（時間的スパン、クリップ数、データクリーニング）を同定すること。
• 動画行動認識および検出タスクにおける非教師あり事前学習と教師あり事前学習の性能を比較すること。
• 非教師あり動画学習におけるバックボーンアーキテクチャ、データオーグメンテーション、トレーニング期間の包括的なアブレーションスタディを提供すること。

提案手法

• 本手法は、画像のクロップを同じ動画からの時間的クリップに置き換えることで、画像の対照的学習を一般化し、同じ動画からの異なるクリップ間の表現類似性を促進する。
• MoCo、SimCLR、BYOL、SwAV の4つのフレームワークに、負例またはモーメンタムエンコーダーを用いて最小限のアーキテクチャ変更で統一的な対照的目的関数を適用する。
• 時間的にずらされたクリップ（例：クエリクリップとキークリップ）の特徴間の類似性を最大化するポジティブペア損失を用い、時間的持続性を促進する。
• 大規模データセット（Kinetics-400：24万件の動画、300万件規模のInstagram動画セット）を用いて学習を実施し、クリーニング済みおよび未クリーニングの両方を対象とする。
• バックボーンモデルには ResNeXt-101 と ResNet-50 を使用し、下流タスクでは標準的な線形プローブとエンドツーエンド適応による特徴抽出とファインチューニングを実施する。
• 本フレームワークは教師ありおよび非教師あり事前学習をサポートし、データタイプ（トリムド vs. 未トリムド）、オーグメンテーション、トレーニング期間に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 時間的持続性のシンプルな目的関数が、アーキテクチャの変更なしに MoCo、SimCLR、BYOL、SwAV の複数の非教師あり動画学習フレームワークに一般化可能か？
• RQ2 ポジティブクリップ間の時間的スパンの長さ（例：1秒、30秒、60秒）が、動画表現学習における下流性能にどのように影響するか？
• RQ3 大規模な動画データに対する非教師あり事前学習が、下流タスクの行動認識および検出タスクで教師あり事前学習を上回るか、同等の性能を達成するか？
• RQ4 データクリーニング（クリーニング済み vs. 未クリーニング）、データタイプ（Kinetics vs. Instagram）、トレーニング期間が表現品質に与える影響は何か？
• RQ5 1動画あたりのクリップ数、対照的損失設計、モーメンタムエンコーダーの使用が最終的な性能にどのように影響するか？

主な発見

• 提案手法の時間的持続性目的関数は、非教師あり事前学習において UCF-101、HMDB51、Kinetics-400 で最先端の性能を達成し、Kinetics-400 ではトップ1精度が 88.4% を記録した。
• 長時間の時間的一貫性（最大60秒）を促進することで、下流性能が顕著に向上し、明示的な教師なし学習がなくても、長距離時間的モデリングが有効であることを示した。
• いくつかのケースでは、非教師あり事前学習が教師あり事前学習を上回り、特に Something-Something V2 および AVA において、自己教師あり学習がより豊かな時空間不変性を捉えられることを示した。
• 1動画あたりのクリップ数（ρ > 1）を増やし、時間的スパンを長くすることで、すべてのフレームワークおよびデータセットで一貫して表現品質が向上した。
• 本手法は、バックボーン（ResNeXt-101、ResNet-50）、データタイプ（クリーニング済み Kinetics、未クリーニング Instagram）、オーグメンテーション戦略の両方に対して効果的に一般化された。
• アブレーションスタディの結果、モーメンタムエンコーダーと対照的損失設計が性能向上に寄与することが判明したが、未クリーニングデータでも強力な結果が得られ、データ分布のシフトに対して高いロバストネスを示した。