[논문 리뷰] A Large-Scale Analysis on Self-Supervised Video Representation Learning

Akash Kumar, Ashlesha Kumar외 2명|arXiv (Cornell University)|2023. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 5개의 데이터셋에서 7개의 방법과 7개의 아키텍처에 대해 공정한 비교를 가능하게 하는 대규모 벤치마크를 소개한다. 이는 자기지도 학습 비디오 표현 학습을 위한 것이다. 이 연구는 비대칭적 방법이 노이즈에 더 강건하다는 등의 핵심 통찰을 드러내며, 시공간 사전과제 작업이 데이터 분포를 초월해 잘 일반화됨을 보여주고, 다양한 교사 모델로부터의 지식 정복이 성능 향상에 기여함을 확인한다. 이에 기반해 기존 SOTA 방법이 요구하는 전훈 데이터의 10%만으로도 SOTA 성능을 달성하는 새로운 방법을 제안한다.

ABSTRACT

Self-supervised learning is an effective way for label-free model pre-training, especially in the video domain where labeling is expensive. Existing self-supervised works in the video domain use varying experimental setups to demonstrate their effectiveness and comparison across approaches becomes challenging with no standard benchmark. In this work, we first provide a benchmark that enables a comparison of existing approaches on the same ground. Next, we study five different aspects of self-supervised learning important for videos; 1) dataset size, 2) complexity, 3) data distribution, 4) data noise, and, 5)feature analysis. To facilitate this study, we focus on seven different methods along with seven different network architectures and perform an extensive set of experiments on 5 different datasets with an evaluation of two different downstream tasks. We present several interesting insights from this study which span across different properties of pretraining and target datasets, pretext-tasks, and model architectures among others. We further put some of these insights to the real test and propose an approach that requires a limited amount of training data and outperforms existing state-of-the-art approaches which use 10x pretraining data. We believe this work will pave the way for researchers to a better understanding of self-supervised pretext tasks in video representation learning.

연구 동기 및 목표

• 자기지도 학습 비디오 표현 학습 방법 간의 공정한 비교를 위한 표준화된 벤치마크를 구축하는 것.
• 비디오에서 SSL에 영향을 주는 다섯 가지 핵심 요소를 분석하는 것: 데이터셋 크기, 과제 복잡도, 분포 이탈, 데이터 노이즈, 특징 상호보완성.
• 저데이터 환경에서 효과적인 사전과제와 모델 아키텍처 설계 원칙을 도출하는 것.
• 지식 정복 기반 접근법을 통해 통찰을 검증하고, 전훈 데이터를 크게 줄인 상태에서 SOTA 성능을 달성하는 것.

제안 방법

• 벤치마크는 7개의 자기지도 학습 방법과 7개의 네트워크 아키텍처 간에 전훈 하이퍼파ram터, 데이터셋, 평가 프로토콜을 표준화한다.
• 대비적 및 비대칭적 학습 목표를 평가하며, 세 가지 유형의 데이터 변환을 사용한다: 공간적, 시간적, 시공간적.
• 다섯 개의 비디오 행동 인식 데이터셋(Ucf101, Hmdb51, Kinetics400, Ssv2, Something-Something V2)에서 두 가지 후행 작업(행동 인식 및 비디오 검색)에 대해 광범위한 실험을 수행한다.
• 다양한 사전과제와 데이터 분포에서 훈련된 다수의 교사 모델을 사용하여 지식 정복을 적용함으로써 상호보완적인 특징을 정복한다.
• 노이즈와 분포 이탈 상황에서의 강건성과 일반화 능력을 평가하기 위해 제어된 노이즈 주입 및 교차 데이터셋 평가를 수행한다.
• 행동 인식의 정확도(상위 1위 및 상위 5위)와 비디오 검색의 평균 정밀도를 성능 측정 지표로 사용한다.

Figure 1 : Overview of proposed benchmark. We study five different aspects in this benchmark study. Starting from left, 1) we show the analysis of effect of dataset size vs training time . As the dataset size increases, variation in performance decreases even with longer training time, 2) We show th

실험 결과

연구 질문

• RQ1 전훈 데이터셋 크기가 후행 성능에 어떤 영향을 미치며, 특정 임계값을 초과하면 수익 감소 현상이 발생하는가?
• RQ2 다양한 수준의 사전과제 복잡도가 시공간 표현 학습에 어떤 영향을 미치는가?
• RQ3 실세계 상황에서 대비적 및 비대칭적 자기지도 학습 방법이 데이터 노이즈에 얼마나 강건한가?
• RQ4 전훈 시 다양한 데이터 분포가 후행 작업으로의 일반화에 어떤 영향을 미치는가?
• RQ5 다양한 사전과제와 아키텍처에서 유래한 특징을 지식 정복을 통해 조합하면 성능 향상이 가능한가?

주요 결과

• 대비적 자기지도 학습 방법은 더 빠른 학습 속도를 보이지만, 비대칭적 방법에 비해 데이터 노이즈에 훨씬 덜 강건하다.
• 사전과제 복잡도를 높힐수록 반드시 더 나은 표현 학습이 이루어지는 것은 아니며, 복잡도 증가에 따라 성능 향상이 일관되게 나타나지 않는다.
• 시간 기반 사전과제 작업은 공간적 또는 시공간적 작업보다 해결하기가 더 어려우며, 더 높은 표현적 요구를 반영한다.
• 시공간 사전과제 작업은 데이터 분포의 이탈 상황에서도 잘 일반화되며, 원천 데이터와 타겟 데이터가 다를 경우에도 강력한 성능 유지를 보인다.
• 다양한 아키텍처, 과제, 데이터 분포에서 특화된 다수의 교사 모델로부터의 지식 정복은 성능 향상에 상당한 기여를 하며, 특히 저데이터 환경에서 두드러진다.
• 제안된 방법은 기존 SOTA 방법이 요구하는 전훈 데이터의 10%만으로도 비디오 행동 인식에서 최신 기준 성능을 달성하며, 데이터 사용량을 90% 감소시키고 자원 효율성을 80% 향상시킨다.

Figure 2 : Architecture Performance Analysis: Variation in performance for different architectures. X-axis shows the relative floating point operations and Y-axis shows the Top-1 Accuracy.