[논문 리뷰] Back to the Future: Cycle Encoding Prediction for Self-supervised Contrastive Video Representation Learning

Xinyu Yang, Majid Mirmehdi외 1명|Explore Bristol Research|2020. 10. 14.

Human Pose and Action Recognition참고 문헌 56인용 수 5

한 줄 요약

이 논문은 액션 인식 성능을 햖스시키기 위해 잠재 특징 공간에서 이중 방향 시간 순환 폐쇄를 강제하는 자기지도 학습 비디오 표현 학습 방법인 사이클 인코딩 예측(Cycle Encoding Prediction, CEP)을 제안한다. 공유 인코더와 이중 예측 헤드를 사용하여 순환 일관성과 대비 특징 분리 문제를 동시에 최적화함으로써, CEP는 UCF101과 HMDB51에서 최신 기준 성능을 달성하며 기준 방법 대비 정확도를 최대 3.9% 향상시킨다.

ABSTRACT

In this paper we show that learning video feature spaces in which temporal cycles are maximally predictable benefits action classification. In particular, we propose a novel learning approach termed Cycle Encoding Prediction (CEP) that is able to effectively represent high-level spatio-temporal structure of unlabelled video content. CEP builds a latent space wherein the concept of closed forward-backward as well as backward-forward temporal loops is approximately preserved. As a self-supervision signal, CEP leverages the bi-directional temporal coherence of the video stream and applies loss functions that encourage both temporal cycle closure as well as contrastive feature separation. Architecturally, the underpinning network structure utilises a single feature encoder for all video snippets, adding two predictive modules that learn temporal forward and backward transitions. We apply our framework for pretext training of networks for action recognition tasks. We report significantly improved results for the standard datasets UCF101 and HMDB51. Detailed ablation studies support the effectiveness of the proposed components. We publish source code for the CEP components in full with this paper.

연구 동기 및 목표

• 자신의 비디오에서 내재된 시간적 구조를 활용하여 개선된 비디오 표현 학습을 위한 자기지도 학습 방법을 개발하기.
• 인간 레이블이 없는 조건에서 의미적으로 유의미하고 시간적으로 일관된 특징 공간을 학습하는 과제를 해결하기.
• 시간 순환 폐쇄에 기반한 새로운 사전 과제를 도입하여 비디오 임bedding의 일반화 능력과 특징 품질을 향상시키기.
• 기존의 프레임 수준 예측 또는 추적 기반 방법과 비교하여 순환 일관성이 자기지도 신호로서 얼마나 효과적인지 조사하기.
• 메모리 백업, 정규화 기법, 광학 흐름 증강과 같은 아키텍처 구성 요소가 모델 성능에 미치는 영향 평가하기.

제안 방법

• CEP는 비디오 스니펫을 잠재 공간으로 매핑하기 위해 단일 공유 비디오 인코더를 사용하며, 앞서서와 뒤로의 시간 전이를 각각 별도의 헤드를 통해 예측한다.
• 예측이 닫힌 루프를 형성하도록 하기 위해 순환 일관성을 강제한다: 과거에서 앞으로 예측한 다음 미래에서 뒤로 예측하면 원래의 과거 상태로 복원되어야 한다.
• 잠재 공간 내에서 의미적으로 유사한 클립은 가까이, 다를 경우는 멀리 있도록 하는 대비 손실을 동시에 적용하여 특징의 분리도 보장한다.
• 대비 학습 중 부정적 특징을 저장하기 위해 메모리 백업을 사용하여 더 큰 유효 배치 크기를 확보하고 표현 품질을 향상시킨다.
• 정보 유출을 줄이기 위해 시간 그룹 간 정보가 유출되지 않도록 방지하기 위해 동기화된 시간 그룹 정규화(Sync-TGN)를 도입한다.
• 비디오 간 운동 정보를 흐리게 하기 위해 광학 흐름을 증강함으로써 순환 예측 과제의 난이도를 높이고, 더 높은 내성성을 확보한다.

실험 결과

연구 질문

• RQ1 잠재 특징 공간에서 이중 방향 시간 순환 폐쇄를 강제하면 액션 인식을 위한 비디오 표현 학습이 향상되는가?
• RQ2 기존의 미래 프레임 예측이나 프레임 수준 유사도 기반 대비 학습과 비교했을 때 순환 일관성은 어떤 자기지도 신호로써 효과적인가?
• RQ3 메모리 백업, Sync-TGN, 광학 흐름 증강과 같은 아키텍처 구성 요소가 CEP 프레임워크의 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 시간적 수신장 길이가 CEP에서 학습된 표현의 품질에 영향을 미치는가?
• RQ5 CEP는 다양한 백본 아키텍처와 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• 순환 일관성이 없는 기준 모델 대비 CEP는 UCF101에서 상위-1 정확도를 3.9% 향상시켜 제안된 자기지도 신호의 효과를 입증한다.
• 순환 일관성 손실($\mathcal{L}_C$)은 사전 학습 전반에 걸쳐 성능 향상을 지속적으로 이끌며, 179K 스텝에서 2.1%의 향상이 있었고, 537K 스텝에서는 5.4%로 증가한다.
• 증강 과정에서 클립 간 광학 흐름을 흐리게 하면 224×224 해상도에서 성능이 5.1% 향상되어 운동 신호에 대한 내성성이 향상됨을 시사한다.
• 고 모멘타임 요소를 가진 동적 메모리 백업을 사용할 경우 정적 또는 비어 있는 메모리 백업보다 성능 향상이 뚜렷하여, 대비 학습에서의 가치를 확인한다.
• 기본 배치 정규화 대비 동기화된 시간 그룹 정규화(Sync-TGN)는 정확도를 3.6% 향상시키며, 잠재적인 단순한 해결책의 위험을 줄인다.
• 시간적 수신장 길이를 1.5초에서 3초로 늘일 경우 성능이 1.7% 향상되어 더 긴 맥락 정보가 의미 있는 동적 특징 학습에 도움이 된다는 것을 보여준다.