[논문 리뷰] Self-Supervised Learning for Videos: A Survey

Madeline C. Schiappa, Yogesh Singh Rawat외 1명|arXiv (Cornell University)|2022. 06. 18.

Music and Audio Processing인용 수 5

한 줄 요약

이 종합 검토는 영상에 대한 자기지도 학습(SSL)에 대해 포괄적인 리뷰를 제공하며, 전경 과제, 생성 학습, 대비 학습, 다중모달 일치로 방법을 분류한다. 다중모달 접근 방식의 장점을 부각하고, 표준 벤치마크 부족과 모델 해석 가능성 부족 등의 주요 과제를 밝히며, 장기 영상 표현, 엔드 투 엔드 학습, 영상 SSL에서의 강력한 평가 프레임워크 등 향후 방향을 제시한다.

ABSTRACT

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

연구 동기 및 목표

• 기존 검토가 주로 이미지에 집중하는 바에 비해 영상 표현 학습에 특화된 자기지도 학습 접근 방식에 대한 체계적인 검토를 제공하는 것.
• 최근 영상용 SSL 방법을 전경 과제, 생성 학습, 대비 학습, 다중모달 일치의 네 가지 학습 목표 유형으로 분류하고 분석하는 것.
• 현재 영상 SSL 연구의 핵심 한계점, 즉 표준화된 벤치마크 부족, 사전 학습된 시각적 인코더에 대한 의존성, 학습된 표현의 해석 가능성 부족을 밝히는 것.
• 특히 제로샷 학습 시나리오에서 성능과 일반화 능력을 향상시키는 데 다중모달 학습(영상, 음성, 텍스트)의 중요성이 점점 더 증가하고 있음을 강조하는 것.
• 장기 영상 모델링, 엔드 투 엔드 학습, 향상된 해석 가능성, 평가를 위한 강력한 벤치마킹 프레임워크 등 향후 연구 방향을 제안하는 것.

제안 방법

• 논문은 영상 SSL 방법을 학습 목표에 따라 네 가지 범주로 분류한다: 전경 과제, 생성 학습, 대비 학습, 다중모달 일치.
• 표준 영상 데이터셋인 Kinetics, Something-Something, YouCook2를 사용하여 방법을 평가하고, 행동 인식, 행동 검색, 텍스트-영상 검색 등의 후행 작업을 벤치마크로 활용한다.
• 시간적 모델링의 영향을 분석하기 위해 운동과 시간적 동역학을 명시적으로 통합한 방법과 영상을 정적 프레임으로 간주하는 방법을 비교한다.
• 단모달(영상 전용)과 다중모달(영상-음성-텍스트) 접근 방식을 비교하며, 데이터 증강 없이도 다중모달 일치가 성능 향상에 기여함을 강조한다.
• t-SNE 시각화를 통해 다중모달 모델의 통합 임베딩 공간을 분석하여, 높은 성능에도 불구하고 다양한 모달 간에 공간적으로 분리된 특징을 확인한다.
• 사전 학습 프로토콜, 백본 아키텍처(예: I3D, 비전 트랜스포머), 데이터 증강 전략 등 영상 SSL에서의 방법론을 비판적으로 검토한다.

실험 결과

연구 질문

• RQ1 전경 과제, 생성 학습, 대비 학습, 다중모달 일치 등 서로 다른 자기지도 학습 목표는 영상 표현 학습에서 어떻게 성능을 내는가?
• RQ2 시간 일관성이 유지될 경우, 이미지 기반의 데이터 증강 기법이 영상 SSL로 일반화되는 정도는 어느 정도인가?
• RQ3 영상, 음성, 텍스트로 구성된 다중모달 접근 방식은 영상 전용 단모달 방법에 비해 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ4 벤치마크, 모델 해석 가능성, 도메인 간 일반화 측면에서 현재 영상 SSL 연구의 주요 한계점은 무엇인가?
• RQ5 자기지도 영상 표현 학습을 발전시키기 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• VideoClip 및 UniVL과 같은 다중모달 자기지도 학습 접근 방식은 텍스트-영상 검색 작업에서 SOTA 성능을 달성하며, MIL-NCE와 같은 단모달 모델을 능가한다.
• 시간적 데이터 증강을 통합한 대비 학습 방법은 공간 증강에만 의존하는 방법과 비슷하거나 더 뛰어난 성능을 보이며, 이는 시간 일관성이 핵심임을 시사한다.
• 영상 복원이나 프레임 순서 예측과 같은 전경 과제는 운동과 시간적 동역학을 활용할 경우 뛰어난 성능을 보인다.
• 제로샷 행동 인식에서 다중모달 모델과 단모달 모델 간에 뚜렷한 성능 격차가 존재하며, 이는 다중모달 일치가 일반화 능력을 향상시킨다는 것을 시사한다.
• 강력한 성능에도 불구하고 현재 모델은 종종 해석 가능성이 떨어지며, t-SNE 시각화 결과 영상과 텍스트 등의 서로 다른 모달에서 유도된 특징들이 임베딩 공간에서 공간적으로 떨어져 있음을 확인할 수 있다.
• 표준화된 벤치마크와 일관된 평가 프로토콜의 부재는 방법 간 공정한 비교를 어렵게 하며, 영상 SSL에서 분포 이탈에 대한 강건성은 여전히 미흡하게 다뤄지고 있다.