[논문 리뷰] Motion-Focused Contrastive Learning of Video Representations

Rui Li, Yiheng Zhang외 4명|arXiv (Cornell University)|2022. 01. 11.

Human Pose and Action Recognition참고 문헌 23인용 수 4

한 줄 요약

이 논문은 운동을 중심으로 한 대비 학습(Motion-Focused Contrastive Learning, MCL)을 제안한다. 이는 자기지도 학습 기반의 비디오 표현 학습 방법으로, 광학 흐름을 활용해 데이터 증강과 특징 학습을 이끌어낸다. 시간-공간 운동 맵을 기반으로 튜브릿(tubelets)을 샘플링하고, 컨볼루션 레이어의 기울기 맵을 운동 맵에 정렬함으로써 MCL는 상태최저 성능을 달성하며, UCF101(81.91% top-1 정확도)과 Kinetics-400(66.62% top-1 정확도)에서 선형 평가 프로토콜 하에 ImageNet-지도 학습 사전학습을 능가한다.

ABSTRACT

Motion, as the most distinct phenomenon in a video to involve the changes over time, has been unique and critical to the development of video representation learning. In this paper, we ask the question: how important is the motion particularly for self-supervised video representation learning. To this end, we compose a duet of exploiting the motion for data augmentation and feature learning in the regime of contrastive learning. Specifically, we present a Motion-focused Contrastive Learning (MCL) method that regards such duet as the foundation. On one hand, MCL capitalizes on optical flow of each frame in a video to temporally and spatially sample the tubelets (i.e., sequences of associated frame patches across time) as data augmentations. On the other hand, MCL further aligns gradient maps of the convolutional layers to optical flow maps from spatial, temporal and spatio-temporal perspectives, in order to ground motion information in feature learning. Extensive experiments conducted on R(2+1)D backbone demonstrate the effectiveness of our MCL. On UCF101, the linear classifier trained on the representations learnt by MCL achieves 81.91% top-1 accuracy, outperforming ImageNet supervised pre-training by 6.78%. On Kinetics-400, MCL achieves 66.62% top-1 accuracy under the linear protocol. Code is available at https://github.com/YihengZhang-CV/MCL-Motion-Focused-Contrastive-Learning.

연구 동기 및 목표

• 자기지도 학습 기반 비디오 표현 학습에서 운동의 중요성을 탐구하는 것.
• 데이터 증강과 특징 최적화에 운동 정보를 명시적으로 통합함으로써 대비 학습을 향상시키는 것.
• 더 나은 대비 학습을 위해 운동 역학 기반으로 의미 있는 시간-공간 튜브릿을 샘플링하는 방법을 개발하는 것.
• 컨볼루션 레이어의 기울기 맵을 광학 흐름 맵에 정렬하여 학습된 특징에 운동을 기반으로 하는 것.
• 운동 중심 자기지도 학습 사전학습이 하류 비디오 벤치마크에서 ImageNet-지도 학습 사전학습을 능가할 수 있음을 보여주는 것.

제안 방법

• 무 supervision TV-L1 알고리즘을 사용해 각 프레임의 고밀도 광학 흐름을 추출하여 운동 맵를 생성한다.
• 연속된 프레임 수준의 운동 맵를 겹쳐서 각 비디오 클립에 대한 시간-공간 운동 맵(ST-motion)를 구성한다.
• 선택된 클립의 ST-motion에 대해 3D 평균 풀링을 적용하여 클립 수준의 운동을 계산하고, 고운동 클립을 시간 증강을 위한 후보로 선정한다.
• 선택된 클립의 ST-motion 맵에 시간 풀링을 적용하여 공간 운동(S-motion)을 추정하고, 시간적으로 일관된 공간 패치를 튜브릿으로 국소화한다.
• 특징 학습을 위해 각 튜브릿에 대해 ST-motion 맵를 추출하고, 공간 또는 시간 풀링을 적용하여 T-motion 또는 S-motion 맵를 생성한다.
• 컨볼루션 레이어의 기울기 맵와 운동 맵(S-motion, T-motion, ST-motion) 간의 평균 제곱오차를 최소화하여 특징을 운동 역학에 정렬한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 비디오 표현 학습에서 운동은 얼마나 핵심적인가?
• RQ2 운동 지도 데이터 증강이 비디오 표현 학습에서 대비 학습을 향상시킬 수 있는가?
• RQ3 기울기 맵를 운동 맵에 정렬함으로써 학습된 표현의 분류 능력이 향상되는가?
• RQ4 운동 중심 자기지도 학습 사전학습이 비디오 벤치마크에서 ImageNet-지도 학습 사전학습을 능가하는가?
• RQ5 MCL를 통해 학습된 표현은 하류 비디오 이해 작업으로 얼마나 잘 전이되는가?

주요 결과

• UCF101에서 MCL는 선형 평가 프로토콜 하에 81.91%의 top-1 정확도를 달성하며, ImageNet-지도 학습 사전학습보다 6.78%포인트 높다.
• Kinetics-400에서 MCL는 선형 프로토콜 하에 66.62%의 top-1 정확도를 기록하며, 더 큰 규모의 데이터셋에서도 강력한 일반화 능력을 보였다.
• UCF101과 HMDB51에서 미세조정을 수행한 결과, R(2+1)D 백본을 사용한 MCL 사전학습은 각각 90.40%와 61.30%의 정확도를 달성하여 SeCo와 DynamoNet을 포함한 이전 최고 성능 모델을 초월했다.
• 비디오 검색 작업에서 MCL는 R(2+1)D 백본을 사용해 UCF101에서 Recall@1 점수 80.4%와 HMDB51에서 68.9%를 기록하며, 이중 스트림 입력을 사용한 CoCLR보다 뛰어난 성능을 보였다.
• Grad-CAM 시각화 결과 MCL의 주의 맵는 SeCo보다 S-motion 맵와 더 밀접하게 일치함을 보여, 운동 관련 영역을 더 잘 국소화하고 있음을 시사한다.
• 이 방법은 강력한 전이 능력을 보이며, 행동 인식과 비디오 검색을 포함한 다양한 하류 작업에서 최고 성능을 기록했다.