[논문 리뷰] Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition

Unaiza Ahsan, Rishi Madhok외 1명|arXiv (Cornell University)|2018. 08. 22.

Human Pose and Action Recognition참고 문헌 52인용 수 5

한 줄 요약

이 논문은 여러 비디오 프레임의 조각으로 구성된 퍼즐을 푸는 방식으로 공간적 및 시간적 맥락을 동시에 학습하는 자기지도 학습 방법인 Video Jigsaw를 제안한다. 물체 추적 또는 광학 흐름 없이도 HMDB51에서 최고 성능을 기록하고, UCF101과 PASCAL VOC에서 경쟁적인 성능을 보이며, Kinetics에서 사전학습한 결과를 통해 강력한 제로샷 전이 능력을 입증한다.

ABSTRACT

We propose a self-supervised learning method to jointly reason about spatial and temporal context for video recognition. Recent self-supervised approaches have used spatial context [9, 34] as well as temporal coherency [32] but a combination of the two requires extensive preprocessing such as tracking objects through millions of video frames [59] or computing optical flow to determine frame regions with high motion [30]. We propose to combine spatial and temporal context in one self-supervised framework without any heavy preprocessing. We divide multiple video frames into grids of patches and train a network to solve jigsaw puzzles on these patches from multiple frames. So the network is trained to correctly identify the position of a patch within a video frame as well as the position of a patch over time. We also propose a novel permutation strategy that outperforms random permutations while significantly reducing computational and memory constraints. We use our trained network for transfer learning tasks such as video activity recognition and demonstrate the strength of our approach on two benchmark video action recognition datasets without using a single frame from these datasets for unsupervised pretraining of our proposed video jigsaw network.

연구 동기 및 목표

• 물체 추적 또는 광학 흐름 없이도 중간 처리 없이 공간적 및 시간적 맥락을 동시에 활용하는 자기지도 학습 기반의 비디오 표현 학습 방법을 개발하는 것.
• 비디오에서 운동 관련 조각을 추출하기 위해 물체 추적 또는 광학 흐름에 의존하지 않는 것.
• 공간적 및 시간적 일관성을 유지하면서 메모리와 계산량을 줄이는 효율적인 퍼즐 퍼미테이션 전략을 설계하는 것.
• 학습된 표현의 전이 가능성(transferability)을 후행 비디오 행동 인식 및 이미지 분류 작업에 대해 평가하는 것.
• 단순한 조각 샘플링만으로도 대규모 레이블이 없는 비디오 데이터가 비디오 이해를 위한 강력한 표현을 제공할 수 있음을 보여주는 것.

제안 방법

• 여러 비디오 프레임을 공간적 조각의 격자로 나누고, 이 조각들을 공간과 시간에 걸쳐 재배열하여 퍼즐을 구성한다.
• 딥 네ural 네트워크를 사용해 섞인 퍼즐에서 각 조각의 원래 공간적 및 시간적 위치를 예측하도록 학습시킨다.
• 지역적인 공간적 및 시간적 일관성을 유지하면서 다양한, 메모리 효율적인 퍼미테이션을 생성하기 위해 새로운 제약 조건이 붙은 퍼미테이션 전략을 도입한다.
• 행동 레이블 없이도 RGB 프레임만을 사용하여 Kinetics와 같은 대규모 비디오 데이터셋에서 네트워크를 사전학습한다.
• 후행 비디오 행동 인식 벤치마크인 UCF101과 HMDB51에서 사전학습된 네트워크를 미세조정(fine-tuning)하여 전이 학습을 적용한다.
• 영상 분류 작업(PASCAL VOC 2007)에서도 평가하여 비디오 사전학습에서 유도된 제로샷 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 물체 추적 또는 광학 흐름 없이도 자기지도 학습 프레임워크가 비디오의 공간적 및 시간적 맥락을 동시에 활용할 수 있는가?
• RQ2 비디오 조각에 대한 퍼즐 작업이 후행 비디오 행동 인식 작업으로 일반화되는 표현을 유도하는가?
• RQ3 제약 조건이 붙은 퍼미테이션 전략이 무작위 퍼미테이션에 비해 성능과 효율성을 향상시키는가?
• RQ4 Kinetics에서 사전학습한 모델이 더 작고 행동 다양성이 높은 UCF101 및 HMDB51와 같은 데이터셋으로 얼마나 잘 일반화되는가?
• RQ5 이미지 전용 사전학습 없이도 비디오 사전학습된 모델이 이미지 분류 작업에서 경쟁적인 성능을 낼 수 있는가?

주요 결과

• Video Jigsaw 모델은 HMDB51 데이터셋에서 미세조정 후 63.6%의 top-1 정확도를 기록하여 이 벤치마크에서 이전의 모든 비지도 사전학습 방법을 능가한다.
• UCF101에서는 85.2%의 정확도를 달성하여 비지도 사전학습 접근법 중 최고 수준의 성능을 기록한다.
• 영상 분류 작업으로도 효과적으로 일반화되어 PASCAL VOC 2007에서 63.6%의 mAP를 기록하며 대부분의 비디오 기반 준지도 학습 방법을 능가한다.
• 제안된 제약 조건이 붙은 퍼미테이션 전략은 다양한 퍼미테이션을 효율적으로 생성하고, 특히 12개의 조각을 사용할 경우 무작위 퍼미테이션에 비해 성능 향상을 이룬다.
• Kinetics에서 3프레임만을 사용하여도 강력한 성능을 달성하여 대규모 비디오 데이터만으로도 효과적인 자기지도 학습이 가능하다는 것을 시사한다.
• 학습된 특징은 의미 있는 인덕티브 바이어스를 보이며, 초기 합성곱 필터의 시각화 결과에서 방향성 엣지 검출기의 형태를 띠어, 감독 없이도 구조적인 특징 학습이 이루어지고 있음을 시사한다.