[논문 리뷰] How Incomplete is Contrastive Learning? An Inter-intra Variant Dual Representation Method for Self-supervised Video Recognition.

Lin Zhang, Qi She외 2명|arXiv (Cornell University)|2021. 07. 02.

Multimodal Machine Learning Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 셔플랭크 프리텍스트 작업과 시간적 일관성 있는 대비 손실을 통해 내부 분산(비디오 클립 내 변동성)과 간부분 분산(다른 비디오 간 유사성)을 명시적으로 모델링하는 자기지도 학습 비디오 인식을 위한 双중 표현 방법을 제안한다. 이 방법은 SimCLR와 함께 사용하고 Kinetics-400에서 사전 훈련한 경우, UCF101에서 82.0%의 정확도와 UCF101에서 46.1%의 검색 정확도를 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Contrastive learning applied to self-supervised representation learning has seen a resurgence in deep models. In this paper, we find that existing contrastive learning based solutions for self-supervised video recognition focus on inter-variance encoding but ignore the intra-variance existing in clips within the same video. We thus propose to learn dual representations for each clip which ( omannumeral 1) encode intra-variance through a shuffle-rank pretext task; ( omannumeral 2) encode inter-variance through a temporal coherent contrastive loss. Experiment results show that our method plays an essential role in balancing inter and intra variances and brings consistent performance gains on multiple backbones and contrastive learning frameworks. Integrated with SimCLR and pretrained on Kinetics-400, our method achieves $ extbf{82.0\%}$ and $ extbf{51.2\%}$ downstream classification accuracy on UCF101 and HMDB51 test sets respectively and $ extbf{46.1\%}$ video retrieval accuracy on UCF101, outperforming both pretext-task based and contrastive learning based counterparts.

연구 동기 및 목표

• 현재의 대비 학습 방법이 간부분 분산에 집중하면서 비디오 클립 내의 내부 분산을 간과하는 경향이 있는 문제를 해결하기 위해.
• 동일한 클립의 다양한 시각에서의 변동성을 명시적으로 모델링하여 자기지도 학습 비디오 표현 학습을 향상시키기 위해.
• 내부 및 간부분 분산을 동시에 캡처하는 이중 표현 프레임워크를 개발하여 향상된 특징 학습을 위해.
• 제안된 방법의 효과성을 다양한 백본과 대비 학습 프레임워크에서 검증하기 위해.
• UCF101, HMDB51 및 비디오 검색 작업과 같은 표준 비디오 인식 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모든 클립에 대해 이중 표현을 학습한다: 하나는 클립 순서를 뒤섞고 올바른 순서를 예측하도록 학습시켜 내부 분산을 캡처하는 셔플랭크 프리텍스트 작업을 통해 구현된다.
• 두 번째 표현은 같은 비디오의 클립은 가까이, 다른 비디오의 클립은 멀리 떨어지도록 하는 시간적 일관성 있는 대비 손실을 통해 간부분 분산을 인코딩한다.
• 셔플랭크 작업은 클립 순서를 뒤섞고 정확한 순서를 예측하도록 모델을 훈련시켜 클립의 내부 변동성을 모델링하도록 설계되었다.
• 시간적 일관성이 클립이 동일한 비디오에서 온 경우 임베딩 공간에서 더 가까워지도록 보장함으로써 강화되어 구조적 일관성이 향상된다.
• 셔플랭크와 대비 손실 성분을 조합한 다중 과제 목적 함수를 통해 이중 표현이 공동 최적화된다.
• 이 프레임워크는 기존의 대비 학습 파ipeline과 호환되며, ResNets와 같은 표준 아키텍처와 SimCLR와 같은 프레임워크와 통합될 수 있다.

실험 결과

연구 질문

• RQ1 비디오 클립 내에서 내부 분산을 명시적으로 모델링하면 자기지도 학습 비디오 표현 학습에 어떤 영향을 미치는가?
• RQ2 내부 및 간부분 분산을 균형 잡는 것이 후속 비디오 인식 작업 성능에 얼마나 기여하는가?
• RQ3 내부 및 간부분 분산을 별도로 모델링하는 이중 표현 학습 전략이 비디오 인식에서 표준 대비 학습보다 우월한가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존의 프리텍스트 작업 기반 및 대비 학습 기반 접근법과 비교해 어떻게 성능을 내는가?
• RQ5 이 방법은 다양한 백본과 대비 학습 프레임워크에 대해 일반화되는가?

주요 결과

• 제안된 방법은 UCF101에서 82.0%의 분류 정확도를 달성하여, 프리텍스트 작업 기반 및 대비 학습 기반 기준선을 모두 초월한다.
• HMDB51에서 51.2%의 정확도를 기록하여 다양한 행동 인식 벤치마크에서 일관된 성능 향상을 보였다.
• UCF101에서 비디오 검색 정확도 46.1%를 달성하여 검색 작업에 대한 뛰어난 특징 품질을 보였다.
• 다양한 백본과 대비 학습 프레임워크를 통해 성능 향상이 일관되게 유지되어, 방법의 일반화 능력을 확인했다.
• 제거 분석 결과, 내부 및 간부분 분산을 균형 잡는 것이 필수적이며, 단지 간부분 분산에 집중하는 모델보다 이중 표현 전략이 뚜렷이 우수하다는 것이 확인되었다.
• 셔플랭크 프리텍스트 작업은 내부 분산을 효과적으로 캡처하였고, 시간적 일관성 있는 대비 손실은 간부분 분산 모델링을 향상시켜 설계 선택의 타당성을 입증하였다.