[논문 리뷰] Unsupervised Learning from Video with Deep Neural Embeddings

Chengxu Zhuang, Tianwei She외 3명|arXiv (Cornell University)|2019. 05. 28.

Human Pose and Action Recognition참고 문헌 45인용 수 11

한 줄 요약

이 논문은 비정형 영상 데이터에서 강력한 시각적 표현을 자율적으로 학습하기 위해 유사한 영상들을 그룹화하고 비유사한 영상들을 분리하도록 훈련하는 딥 네ural 임베딩을 사용하는 자기지도 학습 방법인 Video Instance Embedding (VIE) 프레임워크를 제안한다. VIE는 두 가지 경로 아키텍처(정적 및 동적 처리 스트림)를 통해 행동 인식(Kinetics)과 단일 프레임 객체 분류(ImageNet)에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전의 비지도 학습 방법을 능가한다.

ABSTRACT

Because of the rich dynamical structure of videos and their ubiquity in everyday life, it is a natural idea that video data could serve as a powerful unsupervised learning signal for training visual representations in deep neural networks. However, instantiating this idea, especially at large scale, has remained a significant artificial intelligence challenge. Here we present the Video Instance Embedding (VIE) framework, which extends powerful recent unsupervised loss functions for learning deep nonlinear embeddings to multi-stream temporal processing architectures on large-scale video datasets. We show that VIE-trained networks substantially advance the state of the art in unsupervised learning from video datastreams, both for action recognition in the Kinetics dataset, and object recognition in the ImageNet dataset. We show that a hybrid model with both static and dynamic processing pathways is optimal for both transfer tasks, and provide analyses indicating how the pathways differ. Taken in context, our results suggest that deep neural embeddings are a promising approach to unsupervised visual learning across a wide variety of domains.

연구 동기 및 목표

• 비표준 영상 데이터에서 시각적 표현을 학습하기 위한 확장 가능하고 자기지도 학습 프레임워크를 개발하기 위해.
• 딥 네럴 임베딩이 감독 없이 영상 내 풍부한 동적 구조를 효과적으로 포착할 수 있는지 조사하기 위해.
• 하류 작업(예: 행동 인식 및 객체 분류)을 위한 비지도 영상 표현 학습의 효과성을 평가하기 위해.
• 비지도 영상 학습을 위한 최적의 아키텍처 구성 요소(예: 프레임 샘플링 전략 및 다중 스트림 설계)를 규명하기 위해.
• 학습된 표현이 운동과 의미적 내용을 어떻게 포착하는지 분석하고, 손실 및 네트워크 아키텍처의 핵심 구성 요소를 식별하기 위해.

제안 방법

• VIE 프레임워크는 비디오 시퀀스를 비디오에 대한 깊이 있는 신경망을 통해 학습된 비지도 대비 손실을 사용하여 압축된 잠재 공간으로 매핑한다.
• 유사한 영상의 임베딩이 서로 뭉치도록 하고, 비유사한 영상의 임베딩은 서로 멀어지도록 하는 국소 집합(LA) 손실 함수를 사용한다.
• 정적 영상과 광학 흐름 또는 프레임 간 차이를 통한 시간적 동적 특징을 처리하는 두 개의 병렬 스트림을 갖는 이중 경로 아키텍처를 사용한다.
• 균일 샘플링, 영상 세그먼트로 분할, 다양한 시간적 수신 영역을 사용하는 등 다양한 프레임 샘플링 전략을 적용한다.
• 대규모 비정제된 영상 데이터(Kinetics)에서 사전 학습하고, 하류 분류 작업에서 미세 조정한다.
• 손실 함수, 네트워크 깊이, 샘플링 전략의 영향을 평가하기 위해 분석 실험(Ablation studies)을 실시한다.

실험 결과

연구 질문

• RQ1 딥 네럴 임베딩은 비정형이고 비표준화된 영상 데이터로부터 효과적으로 시각적 표현을 학습할 수 있는가?
• RQ2 다양한 프레임 샘플링 전략과 네트워크 아키텍처는 비지도 영상 표현의 품질에 어떤 영향을 미치는가?
• RQ3 정적 및 동적 처리 스트림을 별도로 처리하는 이중 경로 아키텍처는 단일 경로 모델보다 더 효과적인가?
• RQ4 비지도 영상 표현이 행동 인식 및 객체 분류와 같은 하류 작업으로 얼마나 잘 전이되는가?
• RQ5 비지도 영상 표현 학습에 가장 효과적인 손실 함수는 무엇인가? (예: LA, CMC)

주요 결과

• VIE 프레임워크는 Kinetics 데이터셋에서 행동 인식 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, VIE-Single 모델의 Conv5 특징에서 정확도가 44.41%로 상위 1위를 기록하였다.
• ImageNet에서 단일 프레임 객체 분류 작업에서는 VIE-Single 모델이 Conv5 특징에서 상위 1위 정확도 42.33%를 기록하여 이전의 비지도 학습 방법을 능가하였다.
• 이중 경로 아키텍처를 가진 VIE-Slowfast 모델은 VIE-Single보다 검색 성능이 뛰어나며, 손동작 및 물체 상호작용과 같은 운동 패턴을 정확히 식별하였다.
• 분석 실험 결과, 테스트된 목적 함수 중 국소 집합(LA) 손실 함수가 가장 효과적이며, 균일 샘플링보다 프레임 분할(예: 5개의 박스 샘플링) 전략이 성능 향상에 기여하였다.
• 이중 경로 아키텍처는 단일 경로 모델보다 성능이 뛰어나며, 동적 스트림은 정적 스트림이 놓친 운동 패턴을 효과적으로 포착하였다.
• 모델은 다양한 작업에 대해 잘 일반화되며, 학습 데이터의 70%만으로도 Kinetics에서 상위 1위 정확도 26.18%를 기록하여 데이터 부족 상황에서도 강건함을 입증하였다.