[논문 리뷰] A Deep Generative Model for Disentangled Representations of Sequential Data.

Yingzhen Li, Stephan Mandt|arXiv (Cornell University)|2018. 03. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 19

한 줄 요약

이 논문은 시계열 데이터를 정적 콘텐츠와 시간에 따라 변화하는 동적 특성으로 분리하는 딥 변동 자동차(encoder)를 제안한다. 이는 콘텐츠 또는 동적 성분에 조건을 주어 제어 가능한 생성을 가능하게 한다. 실험 결과 음성(남성에서 여성으로의 음성 변환) 및 영상(형태와 운동 조작)에서 성공적인 콘텐츠 교체가 이루어졌으며, 확률적 RNN이 장기 시계열을 모델링하는 데 있어 뛰어난 효율성을 보였다.

ABSTRACT

We present a VAE architecture for encoding and generating high dimensional sequential data, such as video or audio. Our deep generative model learns a latent representation of the data which is split into a static and dynamic part, allowing us to approximately disentangle latent time-dependent features (dynamics) from features which are preserved over time (content). This architecture gives us partial control over generating content and dynamics by conditioning on either one of these sets of features. In our experiments on artificially generated cartoon video clips and voice recordings, we show that we can convert the content of a given sequence into another one by such content swapping. For audio, this allows us to convert a male speaker into a female speaker and vice versa, while for video we can separately manipulate shapes and dynamics. Furthermore, we give empirical evidence for the hypothesis that stochastic RNNs as latent state models are more efficient at compressing and generating long sequences than deterministic ones, which may be relevant for applications in video compression.

연구 동기 및 목표

• 영상과 음성과 같은 시계열 데이터의 분리된 표현을 학습하는 딥 생성 모델을 개발한다.
• 잠재 특징을 정적 콘텐츠와 시간에 따라 변화하는 동적 성분으로 분리하여 독립적인 제어를 가능하게 한다.
• 한 요소(콘텐츠 또는 동적 성분)를 조작하면서 다른 요소를 유지함으로써 조건부 생성을 가능하게 한다.
• 장기 시계열 데이터를 모델링할 때 확률적 RNN과 결정적 RNN의 효율성을 평가한다.

제안 방법

• 모델는 시계열 역학을 포착하기 위해 확률적 RNN을 잠재 상태 전이 모델로 사용하는 VAE 프레임워크를 사용한다.
• 잠재 공간은 정적 콘텐츠를 나타내는 부분과 시간에 따라 변화하는 동적 성분을 나타내는 부분으로 분할된다.
• 변동 추론을 사용하여 엔드 투 엔드로 훈련되며, 증거 하한 경량화(ELBO)를 최대화한다.
• 추론 중에 콘텐츠 또는 동적 성분 잠재 변수에 조건을 주어 조건부 생성을 달성한다.
• 다른 시퀀스의 콘텐츠 또는 동적 성분을 교체함으로써 분리된 조작을 지원하는 아키텍처를 갖춘다.
• 잠재 전이를 모델링하기 위해 확률적 RNN을 사용하여 장기 시퀀스의 더 나은 압축과 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 시계열 데이터에서 정적 콘텐츠와 동적 특성을 효과적으로 분리할 수 있는가?
• RQ2 콘텐츠 또는 동적 성분에만 조건을 주는 것이 새로운 시퀀스의 의미 있고 제어 가능한 생성을 가능하게 하는가?
• RQ3 장기 시계열 시퀀스를 압축하고 생성할 때 확률적 RNN은 결정적 RNN보다 어떻게 비교되는가?
• RQ4 모델은 음성 및 영상에서 콘텐츠 교체(예: 음성 변환 또는 형태-운동 분리)를 수행할 수 있는가?

주요 결과

• 모델는 콘텐츠와 동적 성분을 성공적으로 분리하여 정적 특성과 시간에 따라 변화하는 성분을 독립적으로 조작할 수 있다.
• 음성에서의 콘텐츠 교체를 통해 프로소디를 유지하면서 효과적인 남성에서 여성으로, 여성에서 남성으로의 음성 변환이 가능하다.
• 영상 생성에서는 형태(콘텐츠)와 운동(동적 성분)을 별도로 조작할 수 있다.
• 확률적 RNN은 결정적 RNN보다 장기 시계열 시퀀스의 압축과 생성에서 뛰어난 성능을 보이며, 더 나은 모델링 효율성에 대한 가설을 지지한다.