[논문 리뷰] A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

Christoph Feichtenhofer, Haoqi Fan외 3명|arXiv (Cornell University)|2021. 04. 29.

Human Pose and Action Recognition참고 문헌 94인용 수 19

한 줄 요약

이 논문은 비지도 학습 기반의 시공간 표현 학습 방법을 제안하며, 동영상 내 클립 간 시간적 특징 지속성( temporal feature persistency)을 유도함으로써 이미지 기반의 대비 학습 프레임워크(MoCo, SimCLR, BYOL, SwAV)를 최소한의 수정으로 영상에 일반화한다. 다양한 벤치마크에서 최고 성능(SOTA)을 기록하며, 일부 케이스에서는 지도 학습 전훈보다 뛰어난 성능을 보이며, 장기간(최대 60초)의 시간적 일관성이 다운스트림 정확도를 크게 향상시킴을 입증한다.

ABSTRACT

We present a large-scale study on unsupervised spatiotemporal representation learning from videos. With a unified perspective on four recent image-based frameworks, we study a simple objective that can easily generalize all these methods to space-time. Our objective encourages temporally-persistent features in the same video, and in spite of its simplicity, it works surprisingly well across: (i) different unsupervised frameworks, (ii) pre-training datasets, (iii) downstream datasets, and (iv) backbone architectures. We draw a series of intriguing observations from this study, e.g., we discover that encouraging long-spanned persistency can be effective even if the timespan is 60 seconds. In addition to state-of-the-art results in multiple benchmarks, we report a few promising cases in which unsupervised pre-training can outperform its supervised counterpart. Code is made available at https://github.com/facebookresearch/SlowFast

연구 동기 및 목표

• 시간적 특징 지속성에 대한 단순하고 통합된 목적함수를 통해 다양한 비지도 영상 표현 학습 프레임워크에 일반화 가능한지 조사하기.
• Kinetics와 Instagram과 같은 대규모 영상 데이터셋에서의 비지도 전훈의 효과를 다양한 다운스트림 작업에서 평가하기.
• 표현 품질에 영향을 주는 핵심 하이퍼파라미터(시간적 범위, 클립 수, 데이터 쿠리에이션 등)를 특정하기.
• 비지도 전훈 성능을 영상 행동 인식 및 검출 작업에서 지도 전훈과 비교하기.
• 비지도 영상 학습의 백본 아키텍처, 데이터 증강, 학습 기간에 대한 종합적인 아블레이션 스터디 제공하기.

제안 방법

• 이미지 대비 학습을 영상으로 일반화하기 위해 동일한 영상에서 시간 클립을 이미지 클립 대체하여 적용함으로써, 동일 영상의 서로 다른 클립 간 표현 유사성을 유도함.
• MoCo, SimCLR, BYOL, SwAV의 네 프레임워크에 동일한 대비 목적함수를 적용하며, 음성 샘플 또는 모멘텀 인코더를 사용함으로써 최소한의 아키텍처 수정으로도 구현함.
• 시간적으로 이격된 클립(예: 쿼리 클립과 키 클립) 간 특징 유사성을 최대화하는 양성 쌍 손실을 사용하여 시간적 지속성 촉진.
• 대규모 데이터셋(Kinetics-400(240만 건), 300만 건 규모의 Instagram 영상 세트)을 사용하여 학습함. 데이터는 쿠리에이션 여부에 관계없이 적용됨.
• 백본 모델로 ResNeXt-101 및 ResNet-50를 사용하며, 다운스트림 작업에서 표준 선형 프로빙 및 엔드투엔드 적응을 통한 특징 추출 및 미세조정 수행.
• 지도 및 비지도 전훈 모두 지원되며, 데이터 유형(자르기 전/후), 증강 기법, 학습 기간에 대한 아블레이션 스터디 수행.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 시간적 지속성 목적함수를 MoCo, SimCLR, BYOL, SwAV 등 다양한 비지도 영상 학습 프레임워크에 일반화할 수 있는가?
• RQ2 양성 클립 간 시간적 범위(예: 1초, 30초, 60초)가 영상 표현 학습의 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 대규모 영상 데이터에서의 비지도 전훈이 다운스트림 행동 인식 및 검출 작업에서 지도 전훈을 능가하거나 동등하게 성능을 내는가?
• RQ4 데이터 쿠리에이션(쿠리에이션 여부), 데이터 유형(Kinetics 대비 Instagram), 학습 기간이 표현 품질에 어떤 영향을 미치는가?
• RQ5 영상당 클립 수, 대비 손실 설계, 모멘텀 인코더 사용 여부 등의 요소가 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 시간적 지속성 목적함수로는 비지도 전훈에서 UCF-101, HMDB51, Kinetics-400에서 SOTA 성능 달성. Kinetics-400에서 정확도는 88.4%의 top-1 성능 기록.
• 장기간(최대 60초)의 시간적 일관성 유도가 다운스트림 성능을 크게 향상시키며, 명시적 감독 없이도 장기적 시간 모델링이 효과적임을 입증함.
• 일부 케이스에서 비지도 전훈이 지도 전훈을 능가함. 특히 Something-Something V2와 AVA에서 성능 향상이 두드러져, 자기지도 학습이 더 풍부한 시공간 불변성을 포착할 수 있음을 시사함.
• 영상당 클립 수(ρ > 1)와 더 긴 시간적 범위를 사용할수록 모든 프레임워크 및 데이터셋에서 표현 품질이 일관되게 향상됨.
• 백본 모델(ResNeXt-101, ResNet-50), 데이터 유형(쿠리에이션된 Kinetics, 쿠리에이션되지 않은 Instagram), 증강 전략 등 다양한 조건에서 효과적으로 일반화됨.
• 아블레이션 스터디 결과, 모멘텀 인코더와 대비 목적함수가 성능 향상에 기여하며, 쿠리에이션되지 않은 데이터 역시 강력한 성능 기록함으로써 데이터 분포 변화에 대해 뛰어난 내성성 확보됨.