[논문 리뷰] Z-Forcing: Training Stochastic Recurrent Networks

Anirudh Goyal, Alessandro Sordoni외 3명|PolyPublie (École Polytechnique de Montréal)|2017. 11. 15.

Topic Modeling참고 문헌 31인용 수 32

한 줄 요약

이 논문은 잠재 변수의 훈련을 향상시키기 위해 후방 RNN 상태를 재구성하도록 유도하는 보조 손실을 도입한 스토하스틱 순환 생성 모델인 Z-Forcing를 제안한다. 후방 추론, 조건부 사전분포, 잠재변수 조절 동역학을 통합함으로써, TIMIT, Blizzard와 같은 음성 벤치마크에서 최고 성능을 기록하고 언어 모델링에서 해석 가능한 표현을 학습하며, KL 안내법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Many efforts have been devoted to training generative latent variable models with autoregressive decoders, such as recurrent neural networks (RNN). Stochastic recurrent models have been successful in capturing the variability observed in natural sequential data such as speech. We unify successful ideas from recently proposed architectures into a stochastic recurrent model: each step in the sequence is associated with a latent variable that is used to condition the recurrent dynamics for future steps. Training is performed with amortized variational inference where the approximate posterior is augmented with a RNN that runs backward through the sequence. In addition to maximizing the variational lower bound, we ease training of the latent variables by adding an auxiliary cost which forces them to reconstruct the state of the backward recurrent network. This provides the latent variables with a task-independent objective that enhances the performance of the overall model. We found this strategy to perform better than alternative approaches such as KL annealing. Although being conceptually simple, our model achieves state-of-the-art results on standard speech benchmarks such as TIMIT and Blizzard and competitive performance on sequential MNIST. Finally, we apply our model to language modeling on the IMDB dataset where the auxiliary cost helps in learning interpretable latent variables. Source Code: \url{https://github.com/anirudh9119/zforcing_nips17}

연구 동기 및 목표

• 잠재 변수에 대한 작업에 종속되지 않은 보조 목표를 도입함으로써 순차적 데이터를 위한 스토하스틱 순환 모델의 훈련 안정성과 성능을 향상시키는 것.
• 성공적인 아키텍처 구성요소들—후방 사후분포, 조건부 사전분포, 잠재변수 조절 동역학—을 하나의 생성 모델로 통합하는 것.
• 특히 음성과 텍스트와 같이 변동성이 높은 데이터에서 순차적 생성에서 잠재 요소의 분리 및 해석 가능성 향상시키는 것.
• 강력한 자동회귀 디코더를 갖춘 VAE에서의 열악한 사후 붕괴 문제를 해결하기 위해 잠재 변수의 활용도를 향상시키는 것.

제안 방법

• 모델은 후방 RNN을 사용해 잠재 변수에 대한 근사 사후분포를 계산하여 추론 중 향후 컨텍스트에 접근할 수 있도록 한다.
• 잠재 변수는 전방 순환 동역학을 조절하는 데 사용되며, 향후 시퀀스 요소에 대한 '계획'을 효과적으로 인코딩한다.
• 보조 손실이 도입되어 잠재 변수가 후방 RNN의 은닉 상태를 재구성하도록 유도되며, 이는 주 생성 목표와 독립적인 작업에 종속되지 않은 신호를 제공한다.
• 모델은 약산된 변분 추론을 통해 훈련되며, 추가적인 재구성 손실을 포함한 변분 하한(ELBO)을 최대화한다.
• 조건부 사전분포는 잠재 변수가 시퀀스 컨텍스트에 의해 영향을 받도록 하여 모델링 능력을 향상시킨다.
• 백프로파게이션 스트림을 통한 백프로파게이션과 잠재 변수에 대한 스토하스틱 백프로파게이션을 통해 엔드 투 엔드 훈련을 지원한다.

실험 결과

연구 질문

• RQ1 잠재 변수가 후방 RNN 상태를 재구성하도록 유도하는 보조 손실이 스토하스틱 순환 모델의 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 후방 네트워크를 통해 잠재 변수가 향후 컨텍스트를 예측하도록 유도하면 순차적 생성에서 더 나은 분리 및 해석 가능성 확보가 가능한가?
• RQ3 음성 및 텍스트 벤치마크에서 Z-Forcing은 KL 안내법 대비 모델 성능과 잠재 변수 활용도 측면에서 어떻게 비교되는가?
• RQ4 제안된 보조 목표는 음성 및 언어 모델링을 포함한 다양한 순차 모델링 작업에 일반화 가능한가?

주요 결과

• Z-Forcing는 TIMIT 및 Blizzard를 포함한 표준 음성 벤치마크에서 최고 성능을 기록하며 이전 방법들을 능가한다.
• 보조 재구성 손실은 특히 사후 붕괴를 줄이고 잠재 변수 활용도를 향상시켜 기존 KL 안내법 대비 모델 성능을 크게 향상시킨다.
• IMDB 언어 모델링 데이터셋에서 보조 손실은 선형 보간을 통한 잠재 공간 분석을 통해 더 해석 가능하고 분리된 잠재 표현을 이끌어내었다.
• KL 발산이 클수록 ELBO와 IWAE(25개 샘플로 평가) 간 격차가 커지며, 이는 모델이 강한 잠재 변수 감독에서 유의미한 이점을 얻고 있음을 시사한다.
• 잠재 공간 내 선형 보간 분석 결과, 잠재 변수가 문장 길이와 의미적 특성을 잘 포착하고 있으며, 보간 점들 사이에서 부드러운 생성 전이가 이루어진다.