[논문 리뷰] Self-Supervised Video Representation Using Pretext-Contrastive Learning.

Tao Li, Xueting Wang외 1명|arXiv (Cornell University)|2020. 10. 29.

Multimodal Machine Learning Applications참고 문헌 48인용 수 10

한 줄 요약

이 논문은 초과형 특징 공간 정렬을 통해 전조 과제와 대비 학습을 통합하는 자기지도 학습 비디오 표현 방법인 Pretext-Contrastive Learning (PCL)을 제안한다. 두 목표를 동시에 최적화함으로써 PCL는 다양한 기준에 걸쳐 비디오 검색 및 인식에서 최신 기술 수준의 성능을 달성하며, 높은 일관성과 일반화 능력을 입증한다.

ABSTRACT

Pretext tasks and contrastive learning have been successful in self-supervised learning for video retrieval and recognition. In this study, we analyze their optimization targets and utilize the hyper-sphere feature space to explore the connections between them, indicating the compatibility and consistency of these two different learning methods. Based on the analysis, we propose a self-supervised training method, referred as Pretext-Contrastive Learning (PCL), to learn video representations. Extensive experiments based on different combinations of pretext task baselines and contrastive losses confirm the strong agreement with their self-supervised learning targets, demonstrating the effectiveness and the generality of PCL. The combination of pretext tasks and contrastive losses showed significant improvements in both video retrieval and recognition over the corresponding baselines. And we can also outperform current state-of-the-art methods in the same manner. Further, our PCL is flexible and can be applied to almost all existing pretext task methods.

연구 동기 및 목표

• 자기지도 학습 비디오 표현에서 전조 과제의 최적화 목표와 대비 학습의 관계를 분석한다.
• 초과형 특징 공간에서 전조 과제와 대비 학습 간의 호환성과 일관성 여부를 조사한다.
• 두 방법을 통합하여 향상된 비디오 표현 학습을 위한 통합 학습 프레임워크인 Pretext-Contrastive Learning (PCL)을 제안한다.
• PCL의 일반성과 효능을 다양한 전조 과제 기준 및 대비 손실 함수에 걸쳐 입증한다.
• 동일한 자기지도 학습 프레임워크를 기반으로 기존 최신 기술 수준의 방법들을 초월하는 성능을 확보한다.

제안 방법

• 비디오 표현 학습을 초과형 특징 공간 내에서 전조 과제와 대비 학습 목표의 공동 최적화 문제로 설정한다.
• 초과형의 기하학적 성질을 활용하여 전조 과제와 대비 학습의 최적화 목표를 정렬한다.
• 다양한 전조 과제 기준(예: 프레임 순서 예측, 비디오 복원)과 다양한 대비 손실 함수를 결합한다.
• 전조 과제 손실과 대비 손실의 가중 합을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 일관된 특징 학습을 유도한다.
• 모듈식이고 유연한 구조로, 기존 전조 과제 방법의 거의 모든 것과 통합 가능하다.
• 최종적으로 인간 레이블 없이 자기지도 학습에 의존하여 비디오 표현을 학습한다.

실험 결과

연구 질문

• RQ1 비디오 표현 학습 맥락에서 전조 과제와 대비 학습의 최적화 목표는 어떻게 상호 연관되어 있는가?
• RQ2 공동 초과형 특징 공간에서 최적화할 경우 전조 과제와 대비 학습은 어느 정도 호환성과 일관성을 가지는가?
• RQ3 두 방법을 통합한 통합 프레임워크는 개별 접근 방식에 비해 비디오 검색 및 인식 성능 향상에 기여하는가?
• RQ4 제안된 Pretext-Contrastive Learning (PCL) 프레임워크는 다양한 전조 과제 기준에 대해 얼마나 일반화 가능한가?
• RQ5 PCL은 현재 최신 기술 수준의 자기지도 학습 비디오 학습 방법을 초월하는가?

주요 결과

• 초과형 특징 공간에서 전조 과제와 대비 학습의 공동 최적화는 학습 목표 간 강력한 일관성을 이끌어낸다.
• PCL은 개별 전조 과제 기준 및 대비 학습 기준에 비해 비디오 검색 및 인식 성능에서 상당한 향상을 달성한다.
• 동일한 훈련 프rotocol 하에서 최신 기술 수준의 자기지도 학습 비디오 학습 접근 방식을 일관되게 능가한다.
• 프레임워크는 매우 일반화 가능하며, 거의 모든 기존 전조 과제 방법에 적용 가능하며 일관된 성능 향상을 이룬다.
• 광범위한 분석 실험을 통해 전조 과제와 대비 손실의 조합이 개별적으로 사용하는 것보다 더 효과적임을 확인한다.