[논문 리뷰] Self-supervised Video Representation Learning by Context and Motion Decoupling

Lianghua Huang, Yu Liu외 4명|arXiv (Cornell University)|2021. 04. 02.

Human Pose and Action Recognition참고 문헌 60인용 수 5

한 줄 요약

이 논문은 압축 영상(예: H.264)에서의 I-프레임과 운동 벡터를 사용하여 문맥과 운동 감독을 명시적으로 분리하는 자기지도 학습 영상 표현 학습 방법을 제안한다. 대조적 문맥 매칭 작업과 점별 운동 예측 작업을 동시에 최적화함으로써 대조 학습을 통해 최신 기술 수준의 성능을 달성하였으며, UCF101과 HMDB51에서 영상 검색 재현율에 각각 16.0%와 11.1%의 절대적 향상을 보였다.

ABSTRACT

A key challenge in self-supervised video representation learning is how to effectively capture motion information besides context bias. While most existing works implicitly achieve this with video-specific pretext tasks (e.g., predicting clip orders, time arrows, and paces), we develop a method that explicitly decouples motion supervision from context bias through a carefully designed pretext task. Specifically, we take the keyframes and motion vectors in compressed videos (e.g., in H.264 format) as the supervision sources for context and motion, respectively, which can be efficiently extracted at over 500 fps on the CPU. Then we design two pretext tasks that are jointly optimized: a context matching task where a pairwise contrastive loss is cast between video clip and keyframe features; and a motion prediction task where clip features, passed through an encoder-decoder network, are used to estimate motion features in a near future. These two tasks use a shared video backbone and separate MLP heads. Experiments show that our approach improves the quality of the learned video representation over previous works, where we obtain absolute gains of 16.0% and 11.1% in video retrieval recall on UCF101 and HMDB51, respectively. Moreover, we find the motion prediction to be a strong regularization for video networks, where using it as an auxiliary task improves the accuracy of action recognition with a margin of 7.4%~13.8%.

연구 동기 및 목표

• 자기지도 학습 영상 표현 학습에서의 문맥 편향 문제를 해결하기 위해 문맥과 운동 감독을 명시적으로 분리하는 것.
• 광범위한 특징(예: 광학 흐름 또는 조밀한 궤적)을 사용하지 않는 스케일러블하고 효율적인 사전과제를 개발하는 것.
• 공유된 영상 백본과 별도의 헤드를 사용하여 문맥 매칭 및 운동 예측 과제를 함께 최적화함으로써 영상 표현 품질을 향상시키는 것.
• 운동 예측이 후속 행동 인식에 대해 강력한 정규화 요소로 작용하는지 검증하는 것.
• 압축 영상 구성 요소(I-프레임 및 운동 벡터)를 자기지도 학습의 감독 신호로 사용하는 것이 효과적인지 입증하는 것.

제안 방법

• CPU에서 500fps 이상으로 추출된 압축 영상(예: H.264)의 I-프레임을 문맥 표현의 감독으로 사용.
• 동일한 압축 영상에서의 운동 벡터 맵을 운동 표현의 감독으로 사용하여 효율적이고 스케일러블한 특징 추출을 가능하게 함.
• 노이즈 대비 추정(NCE) 손실을 사용하여 영상 클립의 전역 특징과 해당 I-프레임의 특징을 대조하는 문맥 매칭 과제를 설계.
• 각 공간-시간 위치에서 향후 운동 특징을 점별로 예측하기 위해 인코더-디코더 네트워크를 사용하는 운동 예측 과제를 도입.
• 예측된 운동 특징과 진짜 운동 특징을 비교함으로써 대조 학습을 적용하여 안정성과 전이 성능 향상을 향상.
• 공유된 영상 백본과 별도의 MLP 헤드를 사용하여 문맥과 운동 예측을 위한 두 사전과제를 함께 최적화.

실험 결과

연구 질문

• RQ1 문맥과 운동 감독을 명시적으로 분리함으로써 암묵적인 방법에 비해 자기지도 학습 영상 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 표준 영상 압축(예: H.264)에서 유도된 I-프레임과 운동 벡터가 자기지도 학습에 효과적이고 효율적이며 스케일러블한 감독 신호로 기능할 수 있는가?
• RQ3 문맥 매칭과 운동 예측 과제를 함께 최적화하면 행동 인식 및 영상 검색과 같은 후속 작업에서 성능 향상이 이루어지는가?
• RQ4 운동 예측이 감독 미세조정 중 영상 네트워크에 대해 어느 정도 정규화 요소로 작용하는가?
• RQ5 사전학습 과제의 성능(문맥 매칭 및 운동 예측)이 후속 전이 성능와 얼마나 강하게 상관되는가?

주요 결과

• 이 방법은 UCF101에서 영상 검색 재현율 R@1에 16.0%의 절대적 향상을, HMDB51에서는 11.1%의 절대적 향상을 보이며 이전 최신 기술 수준의 방법들을 능가했다.
• Kinetics400에서 사전학습한 모델은 이전 연구 대비 UCF101에서 4.8%에서 7.1% 높은 정확도, HMDB51에서는 5.4%에서 8.0% 높은 정확도를 달성했다.
• 운동 예측을 보조 과제로 사용함으로써 다양한 백본에서 UCF101과 HMDB51에서 행동 인식 정확도가 7.4%에서 13.8% 향상되었다.
• 사전학습 과제(문맥 매칭 및 운동 예측)의 성능는 후속 전이 성능와 강하게 상관되어 있어 그 효과성을 검증하였다.
• 이 프레임워크는 C3D, R(2+1)D-26, R3D-26와 같은 다양한 백본에서 잘 일반화되며, 행동 인식과 영상 검색 모두에서 기준 모델을 일관되게 능가했다.
• 운동 예측이 강력한 정규화 요소로 기능하는 것으로 밝혀졌으며, 특히 도전적인 데이터셋인 HMDB51에서 감독 미세조정 정확도를 크게 향상시켰다.