[논문 리뷰] Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning

Tao Li, Xueting Wang외 1명|arXiv (Cornell University)|2020. 10. 29.

Human Pose and Action Recognition참고 문헌 49인용 수 8

한 줄 요약

이 논문은 사전 작업과 대비 학습을 결합하고, 개선된 데이터 증강 및 전처리를 통해 자기 지율 비디오 표현 학습을 크게 향상시키는 통합 최적화 프레임워크인 Pretext-Contrastive Learning (PCL)을 제안한다. 광범위한 분석 및 평가를 통해 PCL는 오직 Kinetics 데이터의 3.6%만을 사용하여 UCF101과 HMDB51에서 최신 기준 성능을 달성하며, 자기 지율 비디오 학습의 새로운 기준을 설정한다.

ABSTRACT

Recently, pretext-task based methods are proposed one after another in self-supervised video feature learning. Meanwhile, contrastive learning methods also yield good performance. Usually, new methods can beat previous ones as claimed that they could capture "better" temporal information. However, there exist setting differences among them and it is hard to conclude which is better. It would be much more convincing in comparison if these methods have reached as closer to their performance limits as possible. In this paper, we start from one pretext-task baseline, exploring how far it can go by combining it with contrastive learning, data pre-processing, and data augmentation. A proper setting has been found from extensive experiments, with which huge improvements over the baselines can be achieved, indicating a joint optimization framework can boost both pretext task and contrastive learning. We denote the joint optimization framework as Pretext-Contrastive Learning (PCL). The other two pretext task baselines are used to validate the effectiveness of PCL. And we can easily outperform current state-of-the-art methods in the same training manner, showing the effectiveness and the generality of our proposal. It is convenient to treat PCL as a standard training strategy and apply it to many other works in self-supervised video feature learning.

연구 동기 및 목표

• 사전 작업과 대비 학습이 어떻게 함께 최적화되어 자기 지율 비디오 표현 학습을 향상시킬 수 있는지 조사하기.
• 성능을 극대화하는 데 기여하는 최적의 훈련 설정—특히 데이터 증강, 전처리 및 하이퍼파라미터—를 특정하기.
• 새로운 사전 작업이나 대비 목표 없이도 기존 자기 지율 방법을 뛰어넘는 일반화 가능하고 유연한 훈련 전략을 수립하기.
• 일致한 훈련 프rotocol 하에 표준 비디오 벤치마크(UFC101 및 HMDB51)에서 성능 기준을 새롭게 설정하기.
• 제안된 프레임워크가 다양한 사전 작업 기반 및 네트워크 아키텍처에 걸쳐 일반성과 효과성을 갖추고 있는지 검증하기.

제안 방법

• 동일한 비디오 특징 위에서 사전 작업 헤드와 대비 학습 헤드를 동시에 훈련하는 통합 최적화 프레임워크인 Pretext-Contrastive Learning (PCL)을 제안한다.
• 특징의 강건성을 향상시키기 위해 랜덤 크롭, 색상 왜곡, 시간적 크롭과 같은 강력한 데이터 증강 전략을 통합한다.
• 장기적 시간적 의존성을 유지함으로써 특징 학습을 향상시키기 위해 잔차 클립(스킵 연결이 있는 클립)을 적용한다.
• 이중 헤드 훈련 설정을 사용: 하나는 사전 작업(예: 비디오 클립 순서 예측)을 위한 헤드이고, 다른 하나는 양/음성 샘플 쌍을 사용한 대비 학습을 위한 헤드이다.
• 동일한 비디오의 서로 다른 시각 간의 특징 구분을 장려하기 위해 대칭적 대비 손실(예: InfoNCE)을 사용한다.
• 두 헤드를 손실의 가중합으로 종합적으로 최적화함으로써 상호 보완적 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 작업과 대비 학습을 결합하면 단독으로 사용할 경우보다 더 나은 비디오 표현 학습을 이끌 수 있는가?
• RQ2 사전 작업 및 대비 목표를 함께 훈련할 때 성능을 극대화하는 데 기여하는 구체적인 데이터 증강 및 전처리 기법은 무엇인가?
• RQ3 PCL 프레임워크는 다양한 사전 작업 기반 및 네트워크 아키텍처에 일반화되는가?
• RQ4 기존 방법보다 훨씬 적은 사전 훈련 데이터로 PCL가 최고 성능을 달성할 수 있는가?
• RQ5 통합 사전 작업-대비 학습의 잠재력을 최대로 발휘하기 위한 최적의 하이퍼파라미터와 훈련 설정은 무엇인가?

주요 결과

• PCL는 오직 Kinetics 데이터의 3.6%만을 사용하여 UCF101에서 66.0%의 행동 인식 정확도를 달성하며, 동일한 훈련 환경에서 이전 자기 지율 방법보다 뚜렷이 뛰어난 성능을 보였다.
• HMDB51에서는 54.1%의 상위 1 정확도를 기록하여, 최소한의 데이터로 자기 지율 비디오 학습 분야에서 새로운 최고 기록을 수립했다.
• 비디오 검색에서 PCL는 UCF101의 101개 클래스 중 72개에서 단독 사전 작업 및 대비 학습 기반선을 모두 능가했으며, 평균 성능에서도 뛰어난 성능을 보였다.
• 절단 분석 결과, 강력한 데이터 증강과 잔차 클립이 성능 향상에 결정적인 역할을 한다는 것이 확인되었다.
• 프레임워크는 잘 일반화된다: PCL은 세 가지 다른 사전 작업 기반(VCP 등)과 여러 네트워크 백본(R3D, ResNeXt)에서 성능 향상을 이룬다.
• 시각화 결과, PCL의 특징는 기존 기반선 방법보다 더 뭉쳐 있고 구분성이 뛰어나, 더 나은 특징 품질을 나타낸다.