[논문 리뷰] Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data

Guokun Lai, Bohan Li외 2명|arXiv (Cornell University)|2018. 06. 15.

Time Series Analysis and Forecasting참고 문헌 24인용 수 19

한 줄 요약

이 논문은 순차적 데이터의 분포 모델링 능력을 향상시키기 위해 스팸티식 잠재 변수를 확장된 컨볼루션 아키텍처인 WaveNet에 통합한 생성 잠재변수 모델인 Stochastic WaveNet을 제안한다. 확장된 컨볼루션을 통해 병렬 학습을 구현하고 전용 추론 네트워크를 활용함으로써, 음성 및 손글씨 생성 벤치마크에서 기존의 웨이브넷과 RNN 기반 스팸티식 모델을 능가하는 최고 수준의 로그우도 성능을 달성한다.

ABSTRACT

How to model distribution of sequential data, including but not limited to speech and human motions, is an important ongoing research problem. It has been demonstrated that model capacity can be significantly enhanced by introducing stochastic latent variables in the hidden states of recurrent neural networks. Simultaneously, WaveNet, equipped with dilated convolutions, achieves astonishing empirical performance in natural speech generation task. In this paper, we combine the ideas from both stochastic latent variables and dilated convolutions, and propose a new architecture to model sequential data, termed as Stochastic WaveNet, where stochastic latent variables are injected into the WaveNet structure. We argue that Stochastic WaveNet enjoys powerful distribution modeling capacity and the advantage of parallel training from dilated convolutions. In order to efficiently infer the posterior distribution of the latent variables, a novel inference network structure is designed based on the characteristics of WaveNet architecture. State-of-the-art performances on benchmark datasets are obtained by Stochastic WaveNet on natural speech modeling and high quality human handwriting samples can be generated as well.

연구 동기 및 목표

• 숨겨진 상태에 스팸티식 잠재 변수를 도입하여 WaveNet의 순차적 데이터에 대한 표현 능력을 향상시키기.
• WaveNet의 확장된 컨볼루션 아키텍처를 스팸티식 모델링에 적응시켜 효율적이고 병렬적인 학습을 가능하게 하기.
• 잠재 공간 내의 사후 의존성을 효과적으로 포착하기 위해 WaveNet의 수신장 구조를 활용한 전용 추론 네트워크 설계하기.
• 다중층 스팸티식 잠재 변수가 계층적이고 순차적인 데이터 구조의 모델링을 향상시키는지 경험적으로 검증하기.
• 음성 및 손글씨 생성을 위한 벤치마크 데이터셋에서 최고 성능을 달성하기.

제안 방법

• WaveNet 아키텍처의 모든 은닉층에 스팸티식 잠재 변수를 삽입하여 다층 계층 수준에서의 불확실성 모델링을 가능하게 하기.
• 확장된 컨볼루션을 사용해 장거리 시간적 맥락을 유지하고, 순차적 모델링이 아닌 자동회귀 RNN과는 달리 병렬 학습을 가능하게 하기.
• 같은 확장된 컨볼루션 구조를 활용해 전체 관측 시퀀스를 기반으로 잠재 변수의 사후 분포를 추정하는 조건부 추론 네트워크 설계하기.
• 변분 하한(ELBO)을 최적화하여 데이터의 로그우도를 최대화하고, 생성 및 추론 네트워크를 함께 학습하기.
• 스팸티식 층 수와 잠재 차원 수를 제어하여 모델 성능 및 계층적 표현 학습에 미치는 영향을 연구하기.
• 음성 웨이브폼 및 손글씨 궤적과 같은 순차적 데이터에 모델을 적용하며, 데이터 모odal에 따라 이산 또는 연속 잠재 변수 사용하기.

실험 결과

연구 질문

• RQ1 WaveNet의 은닉 상태에 스팸티식 잠재 변수를 삽입함으로써 복잡하고 다중모달 분포를 더 잘 모델링할 수 있는가?
• RQ2 확장된 컨볼루션 아키텍처에 다중층 스팸티식 잠재 변수를 적용하면 단일층 스팸티식 RNN보다 더 나은 계층적 표현 학습이 가능한가?
• RQ3 제안된 추론 네트워크는 비자기회적이고 병렬화 가능한 환경에서 잠재 변수의 진정한 사후 분포를 효과적으로 근사할 수 있는가?
• RQ4 스팸티식 층 수와 잠재 차원 수가 순차적 데이터의 로그우도 및 샘플 품질에 미치는 영향은 어떠한가?
• RQ5 Stochastic WaveNet은 음성 및 손글씨 생성과 같은 벤치마크 순차 생성 작업에서 최고 성능을 달성하는가?

주요 결과

• Blizzard 및 TIMIT 음성 데이터셋에서 Stochastic WaveNet은 최고 성능의 로그우도를 기록했으며, 최고 성능 모델과 유사한 결과를 보였다.
• IAM-OnDB 손글씨 데이터셋에서 Stochastic WaveNet은 최소 1301의 로그우도를 기록했으며, RNN 기반 모델을 능가했고, 최고 보고된 결과인 1334에 가까워졌다.
• RNN 및 VRNN보다 더 높은 품질의 손글씨 샘플을 생성했으며, 더 명확한 문자 경계와 더 현실적인 문자 형태(예: 'is', 'her')를 구현했다.
• 경험적 결과로 다수의 스팸티식 층을 추가할수록 성능 향상이 이루어지며, 이는 계층적 잠재 구조가 모델링 능력을 향상시킨다는 것을 시사한다.
• 스팸티식 층 수가 지나치게 많아지면 각 층이 의미 있는 표현을 효과적으로 포착할 수 있도록 충분한 잠재 변수를 확보하지 못해 성능이 저하된다.
• 소수의 스팸티식 잠재 변수만으로도 생성 품질이 크게 향상되어, 불확실성을 효과적으로 활용해 분포 모델링을 향상시킬 수 있음을 보여주었다.