[논문 리뷰] Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles

Dahun Kim, Donghyeon Cho외 1명|arXiv (Cornell University)|2018. 11. 24.

Human Pose and Action Recognition참고 문헌 27인용 수 27

한 줄 요약

이 논문은 레이블이 없는 영상 데이터를 사용하여 3D CNN을 훈련시키기 위한 자기지도 사전과제로 Space-Time Cubic Puzzles를 제안한다. 무작위로 재배열된 3D 공간-시간 컷을 재구성함으로써 모델은 공간적 외관과 시간적 역학을 동시에 학습하게 되며, UCF101과 HMDB51에서 최신 기술 수준(SOTA) 성능을 달성하면서도 2D CNN 경쟁자들보다 파라미터 수가 적다.

ABSTRACT

Self-supervised tasks such as colorization, inpainting and zigsaw puzzle have been utilized for visual representation learning for still images, when the number of labeled images is limited or absent at all. Recently, this worthwhile stream of study extends to video domain where the cost of human labeling is even more expensive. However, the most of existing methods are still based on 2D CNN architectures that can not directly capture spatio-temporal information for video applications. In this paper, we introduce a new self-supervised task called as extit{Space-Time Cubic Puzzles} to train 3D CNNs using large scale video dataset. This task requires a network to arrange permuted 3D spatio-temporal crops. By completing extit{Space-Time Cubic Puzzles}, the network learns both spatial appearance and temporal relation of video frames, which is our final goal. In experiments, we demonstrate that our learned 3D representation is well transferred to action recognition tasks, and outperforms state-of-the-art 2D CNN-based competitors on UCF101 and HMDB51 datasets.

연구 동기 및 목표

• 영상 이해에서 인간 레이블링의 높은 비용 문제를 해결하기 위해 레이블이 없는 영상 데이터만을 사용하여 자기지도 표현 학습을 가능하게 하기 위해.
• 2D CNN 기반 자기지도 사전과제의 한계를 극복하기 위해 3D CNN이 동시에 공간적 외관과 시간적 역학을 학습할 수 있도록 하는 사전과제를 개발하기 위해.
• 3D CNN의 비지도 사전훈련과 완전히 지도된 Kinetics 사전훈련 간의 성능 격차를 줄이기 위해.
• 자기지도 학습을 통해 훈련된 3D CNN이 파라미터 수가 적음에도 불구하고 2D CNN 기반 자기지도 방법과 동등하거나 슈퍼리어한 성능을 내는지 입증하기 위해.

제안 방법

• 새로운 사전과제인 Space-Time Cubic Puzzles를 도입하여, 영상 클립을 3D 공간-시간 컷으로 나누고 무작위로 재배열한다.
• 모델은 재배열된 3D 컷들의 원래 공간-시간 배열을 예측하도록 훈련되어, 연속된 공간-시간 표현을 학습하도록 유도된다.
• 3D 합성곱 신경망(3D CNNs) 아키텍처를 사용하여 공간-시간 볼륨을 직접 처리함으로써 운동과 외관의 엔드 투 엔드 학습을 가능하게 한다.
• 6개의 큐브가 3×3×3 정육면체 배열에 있는 6! = 720가지 가능한 순서에 대한 분류 손실을 훈련 목적으로 사용한다.
• 정확도와 일반화 능력을 향상시키기 위해 무작위 컷팅, 색상 왜곡, 프레임 제거 등의 데이터 증강 기법을 적용한다.
• 전이 학습을 사용하여 평가한다: 자기지도 인코더를 UCF101 및 HMDB51와 같은 후행 작업 행동 인식 벤치마크에서 미세조정한다.

실험 결과

연구 질문

• RQ1 3D 공간-시간 재구성 기반 자기지도 사전과제가 3D CNN이 의미 있는 연속된 공간-시간 표현을 효과적으로 학습시킬 수 있는가?
• RQ2 Space-Time Cubic Puzzles를 통해 학습하면 2D CNN 기반 자기지도 방법보다 행동 인식 성능에서 더 우수한가?
• RQ3 3D CNN을 사용한 자기지도 사전훈련이 레이블의 일부분만으로도 Kinetics에서 완전히 지도된 사전훈련의 성능을 어느 정도 따라올 수 있는가?
• RQ4 3D CNN에서 학습된 필터는 시간적 역학을 포착하는 데서 ImageNet 및 Kinetics 사전훈련된 필터와 비교해 어떻게 다를까?

주요 결과

• 3D ResNet-18를 사용하여 UCF101에서 75.3%의 Top-1 정확도를 달성하였으며, Odd-One-Out 방법보다 +15.0% 높고 강력한 일반화 능력을 보였다.
• Kinetics 레이블의 1/8만으로도 지도 사전훈련이 자기지도 방법과 유사한 성능를 달성하여 레이블링 비용을 크게 줄였음을 시사한다.
• 자기지도 모델은 무작위 초기화에서 훈련한 경우보다 UCF101에서 +23.4% 성능 향상을 보이며 강력한 특징 학습 능력을 입증했다.
• 학습된 필터의 시각화 결과, 3D 필터는 시간적 역학과 구조를 포착하고 있으며, ImageNet 기반 2D 필터와는 달리 Kinetics 사전훈련 모델과 유사한 패턴을 보였다.
• 제거 실험 결과, 무작위 진동과 분류 기반 회전(RWC)이 성능 향상에 기여함을 확인하여 추가적인 맥락 기반 자기지도 사전과제의 이점이 있음을 입증했다.
• 파라미터 수가 적은(11M–33M vs. AlexNet 기반 모델의 58M)에도 불구하고 2D CNN 기반 자기지도 방법보다 성능이 뛰어나 효율성과 효과성을 입증했다.