[논문 리뷰] Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning

Dezhao Luo, Chang Liu외 5명|arXiv (Cornell University)|2020. 01. 02.

Human Pose and Action Recognition참고 문헌 28인용 수 24

한 줄 요약

이 논문은 비디오 클립을 마스킹하여 다양한 시공간 연산을 적용해 '옵션'을 생성하고, 3D-CNN을 사용해 적용된 연산 유형을 예측하도록 훈련함으로써 풍부한 시공간 표현을 학습하는 자기지도 학습 방법인 Video Cloze Procedure(VCP)를 제안한다. VCP는 행동 인식 및 비디오 검색 벤치마크에서 최신 기술을 압도적으로 뛰어넘는 성능을 달성한다.

ABSTRACT

We propose a novel self-supervised method, referred to as Video Cloze Procedure (VCP), to learn rich spatial-temporal representations. VCP first generates "blanks" by withholding video clips and then creates "options" by applying spatio-temporal operations on the withheld clips. Finally, it fills the blanks with "options" and learns representations by predicting the categories of operations applied on the clips. VCP can act as either a proxy task or a target task in self-supervised learning. As a proxy task, it converts rich self-supervised representations into video clip operations (options), which enhances the flexibility and reduces the complexity of representation learning. As a target task, it can assess learned representation models in a uniform and interpretable manner. With VCP, we train spatial-temporal representation models (3D-CNNs) and apply such models on action recognition and video retrieval tasks. Experiments on commonly used benchmarks show that the trained models outperform the state-of-the-art self-supervised models with significant margins.

연구 동기 및 목표

• 행동 인식 및 비디오 검색을 위한 대규모 비디오 데이터셋의 레이블링 비용과 복잡성을 해결하기 위해.
• 기존의 대체 작업보다 더 강력하고 구분력 있는 시공간 표현을 학습할 수 있는 자기지도 학습 프레임워크를 개발하기 위해.
• VCP를 목표 작업으로 삼아 자기지도 표현 학습에 대한 통합적이고 해석 가능한 평가 프로토콜을 도입하기 위해.
• 사전 훈련 중 다양한 시공간 연산을 통합함으로써 모델의 유연성과 표현 품질을 향상시키기 위해.

제안 방법

• VCP는 비디오 시퀀스에서 무작위로 비디오 클립을 마스킹하여 '공백'을 생성한다.
• 마스킹된 클립에 다양한 시공간 연산(예: 프레임 섞기, 색상 왜곡, 자르기 등)을 적용하여 '옵션'을 생성한다.
• 주변 컨텍스트를 입력으로 사용하여 3D-CNN이 마스킹된 클립에 적용된 연산의 종류를 예측하도록 훈련한다.
• 이 방법은 자기지도 학습에서 사전 훈련용 대체 작업과 모델 평가용 목표 작업의 기능을 모두 수행한다.
• 프레임워크는 C3D, R3D, R(2+1)D 등의 여러 3D-CNN 아키텍처에 적용되어 행동 인식 및 비디오 검색에서 평가된다.
• 백본에서 추출한 특징을 사용하여 다운스트림 작업에서 모델을 피지컬 튜닝하며, 평가에 표준 프rotocol를 적용한다.

실험 결과

연구 질문

• RQ1 비디오 클로즈 완성 기반 자기지도 대체 작업이 기존 방법보다 더 구분력 있는 시공간 표현을 학습할 수 있는가?
• RQ2 VCOP과 같은 최신 자기지도 방법과 비교할 때 VCP는 표현 품질과 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ3 VCP는 자기지도 표현 모델 평가를 위한 신뢰성 있고 해석 가능한 목표 작업으로 기능할 수 있는가?
• RQ4 VCP에서 다양한 시공간 연산을 사용할 경우, 다운스트림 비디오 이해 작업에서 성능 향상이 이루어지는가?

주요 결과

• UCF101 데이터셋에서 VCP로 훈련된 C3D 모델은 상위 1위 정확도 68.5%를 기록하여 이전의 SOTA인 VCOP 방법보다 2.9%p 높다.
• HMDB51에서 VCP로 훈련된 C3D 모델은 상위 1위 정확도 32.5%를 달성하여 VCOP 기준선보다 4.1%p 향상되었다.
• R3D 백본을 사용할 경우, VCP는 랜덤 초기화 대비 행동 인식 정확도를 11.5%p 향상시키며, VCOP 대비 1.1%p 높은 성능을 보였다.
• UCF101에서의 비디오 검색에서 VCP는 R3D를 사용해 상위 50위 정확도 68.1%를 기록했으며, VCOP보다 1.6%p 높고 랜덤 초기화보다 16.2%p 높았다.
• HMDB51에서 VCP는 R3D를 사용해 상위 50위 정확도 76.4%를 기록했으며, VCOP 대비 7.5%p 향상되고 랜덤 초기화 대비 8.5%p 향상되었다.
• 그림 5의 정성적 결과는 VCP 모델이 기준선 방법보다 더 의미적으로 관련성이 높은 비디오를 검색함을 확인한다.