[논문 리뷰] Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders

Will Grathwohl, Aaron Wilson|arXiv (Cornell University)|2016. 12. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 18

한 줄 요약

이 논문은 잠재 변수에 인과적 사전 분포를 도입하여 영상에서 정적 신원과 동적 자세/유사 자세 특징을 분리하는 계층적 변분 오토인코더를 제안한다. 시간적 불변성을 가우시안 랜덤 워크 사전을 통해 모델링한다. 제안된 방법은 VAE 및 느린 특징 분석 기준선에 비해 이동하는 캐릭터와 회전하는 3D 물체에서 뛰어난 분리도와 전이 학습 성능을 달성한다.

ABSTRACT

There are many forms of feature information present in video data. Principle among them are object identity information which is largely static across multiple video frames, and object pose and style information which continuously transforms from frame to frame. Most existing models confound these two types of representation by mapping them to a shared feature space. In this paper we propose a probabilistic approach for learning separable representations of object identity and pose information using unsupervised video data. Our approach leverages a deep generative model with a factored prior distribution that encodes properties of temporal invariances in the hidden feature set. Learning is achieved via variational inference. We present results of learning identity and pose information on a dataset of moving characters as well as a dataset of rotating 3D objects. Our experimental results demonstrate our model's success in factoring its representation, and demonstrate that the model achieves improved performance in transfer learning tasks.

연구 동기 및 목표

• 감독 없이도 정적 신원과 시간에 따라 변화하는 자세를 의미적으로 유의미하고 분리된 표현으로 학습하는 것.
• 기존 모델이 공유된 잠재 공간에서 신원과 운동을 혼동하는 한계를 해결하는 것.
• 확률적 모델링을 통해 분리되고 해석 가능한 특징을 학습하여 전이 학습 성능을 향상시키는 것.
• 느린 특징 분석(시간적 불변성)과 독립적 특징 학습(변분 오토인코더)의 원리를 통합된 생성적 프레임워크에 통합하는 것.
• 인과적 표현이 최종 작업에서 더 나은 일반화를 이끌어내는지 입증하는 것.

제안 방법

• 잠재 공간에서 정적 요소와 시간에 따라 변화하는 요소를 명시적으로 분리하는 인과적 사전 분포를 갖춘 계층적 변분 오토인코더를 사용한다.
• 정적 특징의 시간적 안정성과 불변성을 확보하기 위해 잠재 상태에 가우시안 랜덤 워크 사전을 구현한다.
• 변분 추론을 적용하여 변분 하한(ELBO)에 대한 확률적 경사 하강법을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 잠재 표현을 두 부분으로 분해한다: 시간에 거의 일정한 정적 구성요소와 프레임 간에 부드럽게 변화하는 동적 구성요소.
• 공유된 인코더와 디코더 컴포넌트를 갖춘 이중 스트림 아키텍처를 사용하며, 잠재 공간을 신원과 자세 요인으로 분할한다.
• 재구성과 정규화의 균형을 맞추기 위해 KL 가중 훈련을 사용하며, β를 조절하여 분리도를 제어하는 아블레이션을 수행한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 감독 없이도 영상에서 정적 신원과 동적 자세를 분리된 표현으로 학습할 수 있는가?
• RQ2 잠재 공간에 인과적 사전을 도입함으로써 분리도와 최종 전이 학습 성능이 향상되는가?
• RQ3 기본 VAE 및 느린 특징 분석과 비교해 제안된 모델은 의미적으로 의미 있는 특징을 얼마나 잘 학습하는가?
• RQ4 모델 성능이 β 및 잠재 차원 수와 같은 하이퍼파rameter에 얼마나 의존하는가?
• RQ5 복잡한 운동과 외관 변화를 보이는 실제 영상 데이터에 대해 모델은 일반화 가능한가?

주요 결과

• 제안된 모델은 β=4일 때 MNIST 영상 데이터셋에서 분리도 점수 6.82, 회전하는 의자 데이터셋에서 1.81을 기록하여 기준선 VAE(1.71 및 1.35)와 느린 특징 분석(6.38 및 1.39)을 크게 앞서며 뛰어난 성능을 보였다.
• Bouncing MNIST 정적 분류 작업에서, 4개의 특징을 사용한 모델은 88%의 정확도를 달성하여 VAE 기준선(80%)과 느린 특징 분석 모델(66%)을 초월했다.
• 회전하는 의자 데이터셋에서 β=4일 때 정적 분류 정확도는 59%에 도달했으며, VAE 기준선(54%)과 느린 특징 분석 모델(37%)을 모두 뛰어넘었다.
• 모델 성능은 β가 증가함에 따라 향상되며, 이는 더 강한 정규화가 분리된 표현 학습에 더 효과적임을 시사하지만, 추가 튜닝으로 성능 향상이 계속 가능할 수 있음을 나타낸다.
• 정성적 분석 결과, 모델은 해석 가능하고 분리된 특징을 학습한 것으로 확인되었다: 한 요소는 신원(예: 숫자 클래스)을 캡처하고, 다른 요소는 운동 궤적을 캡처한다.
• 아블레이션 연구 결과, 적절한 변분 정규화 없이 모델은 벤치마크 성능을 크게 떨어뜨리며, 제안된 사전과 훈련 방식의 중요성을 입증한다.