[논문 리뷰] Latent Normalizing Flows for Discrete Sequences

Zachary M. Ziegler, Alexander M. Rush|arXiv (Cornell University)|2019. 01. 29.

Music and Audio Processing인용 수 46

한 줄 요약

이 논문은 잠재 공간 정규화 흐름(latent space normalizing flows)을 입력 없는 이산 방출 모델(discrete, inputless emission model)과 결합한 VAE 기반 프레임워크를 제안하여 다모달 잠재 역학과 더 빠른 비자기회귀 생성이 가능하도록 한다.

ABSTRACT

Normalizing flows are a powerful class of generative models for continuous random variables, showing both strong model flexibility and the potential for non-autoregressive generation. These benefits are also desired when modeling discrete random variables such as text, but directly applying normalizing flows to discrete sequences poses significant additional challenges. We propose a VAE-based generative model which jointly learns a normalizing flow-based distribution in the latent space and a stochastic mapping to an observed discrete space. In this setting, we find that it is crucial for the flow-based distribution to be highly multimodal. To capture this property, we propose several normalizing flow architectures to maximize model flexibility. Experiments consider common discrete sequence tasks of character-level language modeling and polyphonic music generation. Our results indicate that an autoregressive flow-based model can match the performance of a comparable autoregressive baseline, and a non-autoregressive flow-based model can improve generation speed with a penalty to performance.

연구 동기 및 목표

• 이산 시퀀스 역학을 모델링하기 위해 유연하고 다모달 잠재 흐름의 사용을 고무한다.
• 연속 잠재 변수에 대한 사전 분포가 이산 시퀀스 구조를 포착하도록 잠재 흐름 VAE를 개발한다.
• 다양한 샘플링/밀도 평가 트레이드오프를 가능하게 하면서 다모달성을 최대화하기 위한 세 가지 흐름 아키텍처를 제안하고 비교한다.
• 시간 내 자기회귀 흐름 변형이 자기회귀 기준선과 일치할 수 있는 반면, 비자기회귀 변형은 생성 속도 향상을 제공한다.
• 문자 수준 언어 모델링과 폴리포닉 음악 모델링에 대한 실증적 근거를 제시한다.

제안 방법

• 정규화 흐름 사전 p(z1:T)에 의해 생성된 연속 잠재 시퀀스 z1:T를 갖는 VAE 프레임워크를 사용한다.
• 흐름이 주요 생성 역학을 담도록 입력 없이 방출 메커니즘(inputless emission mechanism)으로 p(x1:T|z1:T)를 모델링한다.
• 세 가지 흐름 아키텍처를 탐구한다: 시간 내 AF와 숨겨진 AF(AF/AF), 시간 내 AF와 숨겨진 SCF(AF/SCF), 시간 내 IAF와 숨겨진 SCF(IAF/SCF).
• 다모달성을 증가시키기 위해 흐름에 비선형 제곱(NLSq) 변환을 확장한다.
• 대각 가우시안 인코더 q(z1:T|x1:T)로 학습하고 ELBO를 최적화하는 아모터라이즈드 변분 추론으로 학습한다.
• 다수의 데이터세트에서 PTB의 문자 수준 언어 모델링과 폴리포닉 음악 모델링을 평가하고 자기회귀 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 잠재 공간 정규화 흐름이 자기회귀 디코더에 의존하지 않고 이산 시퀀스의 다모달 역학을 모델링할 수 있을까?
• RQ2 연속 잠재 표현을 이산 시퀀스에 매핑하면서 효율적인(비자기회귀) 생성을 가능하게 하는 다모달성을 가장 잘 포착하는 흐름 아키텍처는 무엇인가?
• RQ3 잠재 흐름 모델의 성능은 문자 수준 언어 모델링과 폴리포닉 음악 모델링에서 자기회귀 기준선과 어떻게 비교되는가?

주요 결과

모델	테스트 NLL	재구성	KL	(bpc)
LSTM	1.38	-	-	-
AWD-LSTM	1.18	-	-	-
LSTM (sentence-wise)	1.41	-	-	-
AF-only	2.90	0.15	2.77	-
AF/AF	1.42	0.10	1.37	-
AF/SCF	1.46	0.10	1.43	-
IAF/SCF	1.63	0.21	1.55	-
AF/AF (abl.)	1.42	0.10	1.37	-
- NLSq	1.50	0.11	1.51	-
- AF hidden	1.57	0.14	1.57	-
- AF hidden and NLSq	1.56	0.29	1.56	-
AF/AF (Nottingham)	2.39	-	-	-
AF/SCF (Nottingham)	2.56	-	-	-
IAF/SCF (Nottingham)	2.54	-	-	-

• 자기회귀 흐름 모델(AF/AF)은 PTB 문자 수준 언어 모델링에서 LSTM 기준선과 거의 일치한다.
• AF/SCF와 IAF/SCF는 경쟁력 있거나 더 느린 성능을 보이며, 비자기회귀 변형은 속도와 일부 정확도 간의 트레이드를 보인다.
• KL 항이 모델 전반의 ELBO를 지배하여 이산 토큰을 예측하기 위해 잠재 공간에 상당히 의존함을 나타낸다.
• 비선형 제곱(NLSq) 흐름은 다모달성을 증가시키고 몇몇 제거 실험에서 순수한 선형 흐름에 비해 모델링을 향상시킨다.
• 폴리포닉 음악 작업에서 AF/AF은 종종 여러 기준선을 상회하고 Nottingham에서 RNN-NADE에 근접하며, AF/SCF는 일반적으로 성능이 비슷하다.
• 비자기회귀 생성(예: IAF/SCF)은 자기회귀 기준선에 비해 문장 수준 생성에서 속도 향상을 달성하지만 일부 정확도 트레이드오프가 있다.