[論文レビュー] A Large-Scale Analysis on Self-Supervised Video Representation Learning

Akash Kumar, Ashlesha Kumar+2 more|arXiv (Cornell University)|Jun 9, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、自己教師あり動画表現学習のための大規模ベンチマークを導入し、5つのデータセット上で7つの手法と7つのアーキテクチャについての公平な比較を可能にした。主な知見として、非対照的（non-contrastive）手法がノイズに対してより頑健であること、空間時間的プリテキストタスクが異なるデータ分布にわたって良好に一般化されること、多様な教師からの知識蒸留が性能向上に寄与することを明らかにした。これらを基に、従来のSOTA手法に比べて事前学習データの10％しか使用しない新規手法を提案し、その性能がSOTAを上回った。

ABSTRACT

Self-supervised learning is an effective way for label-free model pre-training, especially in the video domain where labeling is expensive. Existing self-supervised works in the video domain use varying experimental setups to demonstrate their effectiveness and comparison across approaches becomes challenging with no standard benchmark. In this work, we first provide a benchmark that enables a comparison of existing approaches on the same ground. Next, we study five different aspects of self-supervised learning important for videos; 1) dataset size, 2) complexity, 3) data distribution, 4) data noise, and, 5)feature analysis. To facilitate this study, we focus on seven different methods along with seven different network architectures and perform an extensive set of experiments on 5 different datasets with an evaluation of two different downstream tasks. We present several interesting insights from this study which span across different properties of pretraining and target datasets, pretext-tasks, and model architectures among others. We further put some of these insights to the real test and propose an approach that requires a limited amount of training data and outperforms existing state-of-the-art approaches which use 10x pretraining data. We believe this work will pave the way for researchers to a better understanding of self-supervised pretext tasks in video representation learning.

研究の動機と目的

• 自己教師あり動画表現学習手法の公平な比較を可能にする標準化されたベンチマークを確立すること。
• 5つの重要な要因が動画におけるSSLに与える影響を分析すること：データセットサイズ、タスクの複雑さ、分布シフト、データノイズ、特徴の相補性。
• 低データ環境下での効果的なプリテキストタスクおよびモデルアーキテクチャの設計原則を同定すること。
• 知識蒸留を用いたアプローチにより、知見を検証し、顕著に減少した事前学習データ量でSOTA性能を達成すること。

提案手法

• ベンチマークは、7つの自己教師あり手法と7つのネットワークアーキテクチャにおいて、事前学習のハイパーパrameter、データセット、評価プロトコルを標準化した。
• 対照的および非対照的学習目的を評価し、3種類のデータ変換タイプ（空間的、時間的、空間時間的）を用いた。
• 5つの動画行動認識データセット（UCF101、HMDB51、Kinetics400、SSv2、Something-Something V2）を用いて、2つの下流タスク（行動認識および動画検索）で広範な実験を実施した。
• 多様なプリテキストタスクおよびデータ分布で事前学習された複数の教師モデルを用いて、相補的特徴を蒸留する知識蒸留を適用した。
• ノイズと分布シフトの下での頑健性および一般化性能を評価し、制御されたノイズ注入とクロスデータセット評価を用いた。
• 行動認識のトップ-1およびトップ-5正答率、動画検索の平均平均精度（mAP）を性能指標として用いた。

Figure 1 : Overview of proposed benchmark. We study five different aspects in this benchmark study. Starting from left, 1) we show the analysis of effect of dataset size vs training time . As the dataset size increases, variation in performance decreases even with longer training time, 2) We show th

実験結果

リサーチクエスチョン

• RQ1 事前学習データセットサイズが下流タスク性能に与える影響は何か？ ある閾値を超えると収益逓減が生じるか？
• RQ2 プリテキストタスクの複雑さの異なる水準が、空間時間的表現の学習に与える影響は何か？
• RQ3 実世界のシナリオにおけるデータノイズに対して、対照的および非対照的自己教師あり手法はどの程度頑健か？
• RQ4 事前学習における異なるデータ分布が、下流タスクへの一般化にどの程度影響を与えるか？
• RQ5 異なるプリテキストタスクおよびアーキテクチャから得られる特徴を、知識蒸留によって統合することで性能向上が達成できるか？

主な発見

• 対照的自己教師あり手法は学習が速いが、非対照的手法に比べてデータノイズに対して著しく脆弱である。
• プリテキストタスクの複雑さを高めても、表現学習の向上が保証されるわけではない。性能向上は複雑さの増加に対して単調に増加しない。
• 時間的プリテキストタスクは空間的または空間時間的タスクよりも解くのがより困難であり、より高い表現的要件を示している。
• 空間時間的プリテキストタスクは、データ分布のシフトに対しても良好に一般化され、ソースとターゲットデータが異なる場合でも強力な性能を維持する。
• 異なるアーキテクチャ、タスク、データ分布に特化した複数の教師モデルからの知識蒸留は、特に低データ環境下で顕著な性能向上をもたらす。
• 提案手法は、従来のSOTA手法が要する事前学習データの10％のみで動画行動認識タスクでSOTA性能を達成した。これにより、データ量を90％削減し、リソース効率を80％向上させた。

Figure 2 : Architecture Performance Analysis: Variation in performance for different architectures. X-axis shows the relative floating point operations and Y-axis shows the Top-1 Accuracy.