[논문 리뷰] Can Temporal Information Help with Contrastive Self-Supervised Learning?

Yutong Bai, Haoqi Fan외 7명|arXiv (Cornell University)|2020. 11. 25.

Human Pose and Action Recognition참고 문헌 33인용 수 29

한 줄 요약

이 논문은 시간 정보를 고려한 대비 자기학습 프레임워크인 TaCo를 제안한다. 이는 시간 변환을 동시에 데이터 증강 및 자기지도 신호로 활용하여 영상 표현 학습을 향상시킨다. 작업별 헤드를 도입해 다양한 영상 수준의 사전과제 작업(예: 동작 뒤집기, 속도 변화)을 동시에 처리함으로써, UCF-101에서 85.1%의 상위-1 정확도와 HMDB-51에서 51.6%를 기록하여 기존 방법보다 각각 3%와 2.4%의 상대적 성능 향상을 달성한다.

ABSTRACT

Leveraging temporal information has been regarded as essential for developing video understanding models. However, how to properly incorporate temporal information into the recent successful instance discrimination based contrastive self-supervised learning (CSL) framework remains unclear. As an intuitive solution, we find that directly applying temporal augmentations does not help, or even impair video CSL in general. This counter-intuitive observation motivates us to re-design existing video CSL frameworks, for better integration of temporal knowledge. To this end, we present Temporal-aware Contrastive self-supervised learningTaCo, as a general paradigm to enhance video CSL. Specifically, TaCo selects a set of temporal transformations not only as strong data augmentation but also to constitute extra self-supervision for video understanding. By jointly contrasting instances with enriched temporal transformations and learning these transformations as self-supervised signals, TaCo can significantly enhance unsupervised video representation learning. For instance, TaCo demonstrates consistent improvement in downstream classification tasks over a list of backbones and CSL approaches. Our best model achieves 85.1% (UCF-101) and 51.6% (HMDB-51) top-1 accuracy, which is a 3% and 2.4% relative improvement over the previous state-of-the-art.

연구 동기 및 목표

• 시간 정보가 영상 표현 학습에서 대비 자기지도 학습(CSL)을 향상시킬 수 있는지 탐구하기.
• 기존 CSL 프레임워크에서 시간 변환을 직접 적용할 경우 성능이 떨어지거나 실패하는 이유를 규명하기.
• 시간 변환을 동시에 데이터 증강 및 자기지도 신호로 활용하여 시간 지식을 효과적으로 CSL에 통합하는 새로운 프레임워크 설계하기.
• 다양한 영상 사전과제 작업 간의 내재적 관계를 탐색하고, 그 조합이 학습 효율성에 미치는 영향을 분석하기.
• 기존 방법을 능가하는 일반화 가능하고 유연한 비지도 영상 표현 학습 패러다임을 수립하기.

제안 방법

• TaCo는 시간 변환을 이중 목적(강력한 데이터 증강 및 영상 이해를 위한 자기지도 신호)으로 활용한다.
• 표준 대비 학습 설정에 추가로 작업 전용 헤드를 도입하여 동작 뒤집기, 클립 재배열, 속도 변화와 같은 특정 시간 사전과제 작업 각각에 할당한다.
• 증강된 뷰 간의 대비 손실과 각 시간 변환에 대응하는 작업별 손실을 동시에 최적화함으로써, 다양한 작업 간 공유 표현 학습을 가능하게 한다.
• 대비 손실과 작업별 손실 간의 균형을 맞추기 위해 하이퍼파rameter λ를 사용하며, 이는 작업별 손실이 학습 과정에서 지배적이지 않도록 한다.
• 다양한 백본(예: ResNet-18, R(2+1)D-18, ResNet-50)과 대비 학습 프레임워크(예: MoCo, InstDisc)와도 호환된다.
• 표준 벤치마크인 UCF-101과 HMDB-51에서 선형 평가 및 미세조정 프로토콜을 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 시간 정보는 영상 표현 학습에서 대비 자기지도 학습을 향상시킬 수 있는가?
• RQ2 기존 CSL 프레임워크에서 시간 변환을 직접 적용할 경우 성능이 떨어지거나 실패하는 이유는 무엇인가?
• RQ3 간단한 데이터 증강을 넘어서 시간 지식을 CSL에 효과적으로 통합할 수 있는 더 나은 방법이 존재하는가?
• RQ4 다양한 영상 사전과제 작업 간에 상호보완적인 내재적 관계가 존재하는가? 이를 활용할 수 있는가?
• RQ5 다양한 시간 사전과제 작업과 대비 학습을 통합한 통합 프레임워크가 뛰어난 성능을 낼 수 있는가?

주요 결과

• TaCo는 미세조정 설정에서 UCF-101에서 85.1%의 상위-1 정확도와 HMDB-51에서 51.6%를 기록하여 기존 최고 성능 방법보다 각각 3%와 2.4%의 상대적 성능 향상을 달성한다.
• '속도 + 재배열'과 '기울기 회전 + 뒤집기' 조합이 가장 높은 성능을 보이며, 특정 작업 쌍 간의 상호보완적 효과를 시사한다.
• 대비 손실을 비활성화하고 오직 작업 손실만 최적화할 경우 성능이 크게 저하되며, 이는 TaCo에서 대비 학습의 핵심적 역할을 확인한다.
• 대비 손실과 작업 손실 간의 균형을 조절하는 하이퍼파rameter λ는 λ=10일 때 가장 효과적이며, 10~15 범위에서 안정적인 성능을 보인다.
• 다양한 백본과 CSL 프레임워크에서 TaCo는 일관되게 성능 향상을 보이며, 일반화 가능성과 강건성을 입증한다.
• 선형 평가 조건에서도 TaCo는 일반적인 CSL 및 시간 증강 기반 베이스라인보다 뛰어난 성능을 보이며, 이는 이동 가능한 표현을 효과적으로 학습한다는 것을 확인한다.