[논문 리뷰] A Recurrent Latent Variable Model for Sequential Data

Jun‐Young Chung, Kyle Kastner외 4명|arXiv (Cornell University)|2015. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 696

한 줄 요약

이 논문은 복잡하고 다중모드적인 의존성을 보다 잘 포착하기 위해 RNN의 은닉 상태에 잠재 랜덤 변수를 통합한 생성 모델인 변분 순환 신경망(VRNN)을 제안한다. 시간에 따라 변화하는 잠재 공간 내의 시간적 의존성을 모델링하고 변분 추론을 사용함으로써, 표준 RNN이나 시간적 잠재 의존성이 없는 모델보다 훨씬 높은 로그우도(log-likelihood)를 달성하며, 더 고품질의 음성 및 필기체 샘플을 생성한다.

ABSTRACT

In this paper, we explore the inclusion of latent random variables into the dynamic hidden state of a recurrent neural network (RNN) by combining elements of the variational autoencoder. We argue that through the use of high-level latent random variables, the variational RNN (VRNN)1 can model the kind of variability observed in highly structured sequential data such as natural speech. We empirically evaluate the proposed model against related sequential models on four speech datasets and one handwriting dataset. Our results show the important roles that latent random variables can play in the RNN dynamic hidden state.

연구 동기 및 목표

• 표준 RNN이 은닉 상태가 결정적임으로 인해 복잡하고 다중모드적인 순차적 변동성을 모델링하는 데 한계를 보이는 문제를 해결하기 위해.
• 고차원의 잠재 랜덤 변수가 음성과 필기체와 같은 구조적 순차적 데이터의 생성 모델링을 향상시킬 수 있는지 탐색하기 위해.
• RNN 프레임워크 내에서 잠재 변수 간의 시간적 의존성을 모델링함으로써 영향을 분석하기 위해.
• 잠재 변수가 표준 RNN에 비해 더 단순한 출력 분포(예: 가우시안)로도 더 나은 생성을 가능하게 하는지 보여주기 위해.

제안 방법

• RNN 은닉 상태에 잠재 랜덤 변수를 통합하여, RNN 동역학과 변분 추론을 결합한 변분 RNN(VRNN)을 구성한다.
• 과거 관측치와 은닉 상태에 조건부로 잠재 변수에 대한 사후 분포를 추론하기 위해 인식 모델을 사용한다.
• 이전 은닉 상태와 잠재 변수에 의존하는 시간에 따라 변화하는 분포를 사용하여 잠재 변수의 사전 분포를 모델링한다.
• 학습을 위한 엔드 투 엔드 백프로파게이션을 가능하게 하기 위해 재생성 기법(reparameterization trick)을 적용한다.
• 잠재 상태에서 관측치를 생성하기 위해 조건부 디코더를 사용하며, 출력 분포로는 가우시안 또는 가우시안 혼합 모델(GMM)을 사용한다.
• 관측된 순차 데이터의 로그우도에 대한 하한을 최대화함으로써 변분 추론을 통해 모델을 학습한다.

실험 결과

연구 질문

• RQ1 RNN 은닉 상태에 잠재 랜덤 변수를 통합함으로써 자연어 음성과 같은 복잡한 순차적 데이터의 모델링이 향상되는가?
• RQ2 잠재 변수 간의 시간적 의존성을 모델링하면 RNN 기반 생성 모델의 성능이 향상되는가?
• RQ3 VRNN에서 단순한 가우시안 출력 분포가 표준 RNN과 동일한 출력 분포를 사용할 때 실패하는 경우에도 고품질의 샘플을 생성할 수 있는가?
• RQ4 음성 및 필기체 데이터셋에서 VRNN은 표준 RNN과 다른 RNN 변종에 비해 로그우도와 샘플 품질 측면에서 어떻게 비교되는가?
• RQ5 잠재 변수 전이가 다양한 동시에 일관된 순서를 생성하는 데 어떤 역할을 하는가?

주요 결과

• VRNN은 표준 RNN과 GMM 출력을 갖는 RNN보다 네 개의 음성 데이터셋에서 유의미하게 높은 로그우도를 달성하여 더 높은 모델링 능력을 입증한다.
• 가우시안 출력 분포를 사용하는 VRNN(VRNN-Gauss)는 RNN-GMM가 고주파 노이즈를 생성하는 반면, 더 덜 노이즈가 많고 고품질의 음성 웨이브폼을 생성한다.
• 잠재 공간 내에서 시간적 의존성을 갖지 않는 VRNN 모델은 전체 VRNN보다 성능이 열 劣하므로, 시간적 잠재 역학의 중요성을 확인한다.
• 잠재 공간 분석 결과, 잠재 변수 전이가 웨이브폼의 신호 전이와 일치하며, 음소 전이 기간 동안 KL 발산과 잠재 상태 변화가 증가한다.
• 필기체 생성에서는 RNN 기반 모델이 시퀀스 중간에 스타일이 변하는 경향이 있는 반면, VRNN은 샘플 전반에 걸쳐 일관된 필기 스타일을 유지한다.
• 시각적 점검 결과, VRNN이 생성한 샘플은 특히 장기간의 시퀀스에서 스타일 일관성을 유지하면서 더 다양하고 현실적인 품질을 보인다.