[논문 리뷰] Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation

Hareesh Bahuleyan, Lili Mou외 2명|arXiv (Cornell University)|2018. 06. 22.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 자연어처리(NLP) 분야에서 변분오토에인코더(VAE)의 불안정성과 낮은 학습 성능 문제를 해결하기 위해 확률적 워셔스타인 오토에인코더(WAE)를 제안한다. 인코더의 확률적 특성을 유지하기 위해 KL 패널티를 도입함으로써, VAE보다 높은 BLEU 점수와 더 높은 생성 다양성을 달성하면서도, KL 안내나 단어 드롭아웃이 필요로 하지 않는다.

ABSTRACT

The variational autoencoder (VAE) imposes a probabilistic distribution (typically Gaussian) on the latent space and penalizes the Kullback--Leibler (KL) divergence between the posterior and prior. In NLP, VAEs are extremely difficult to train due to the problem of KL collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a VAE for text. In this paper, we propose to use the Wasserstein autoencoder (WAE) for probabilistic sentence generation, where the encoder could be either stochastic or deterministic. We show theoretically and empirically that, in the original WAE, the stochastically encoded Gaussian distribution tends to become a Dirac-delta function, and we propose a variant of WAE that encourages the stochasticity of the encoder. Experimental results show that the latent space learned by WAE exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

연구 동기 및 목표

• 변분오토에인코더(VAE)의 학습 과제를 해결하기 위해, 특히 KL 발산 항이 0으로 수렴하여 잠재공간 모델링이 불량해지는 문제를 다루는 것.
• VAE의 한계를 극복하기 위해, KL 안내나 단어 드롭아웃과 같은 복잡한 히우리스틱 기법이 필요로 하는 문제를 해결하는 것.
• 연속적인 잠재공간을 가진 확률적 문장 생성을 위한 더 안정적인 대안으로 워셔스타인 오토에인코더(WAE)의 사용을 탐색하는 것.
• 확률적 WAE 인코더가 딜타-델타 함수로 붕괴하는 경향을 분석하고, 의미 있는 확률적 특성을 유지하기 위한 해결책을 제안하는 것.
• 제안된 방법이 VAE와 결정론적 오토에인코더보다도 더 뛰어난 재구성 및 생성 품질을 달성할 수 있음을 실험적으로 입증하는 것.

제안 방법

• VAE가 KL 발산에 의존하는 대신, 집합적 사후분포와 사전분포 사이의 워셔스타인 거리 최소화를 목표로 하는 워셔스타인 오토에인코더(WAE) 프레임워크를 채택한다.
• 입력 문장을 잠재분포로 매핑하기 위해 확률적 인코더를 사용하고, 디코더는 샘플링된 잠재벡터로부터 문장을 재구성한다.
• 확률적 인코더가 결정론적 딜타-델타 함수로 붕괴되는 것을 방지하기 위해 히우리스틱적 KL 패널티 항을 도입함으로써 확률적 특성을 유지한다.
• 재구성 오차, WAE 정규화 항(워셔스타인 거리), 그리고 인코더의 확률적 특성을 장려하기 위한 보조 KL 항의 가중합으로 구성된 학습 목표를 설정한다.
• KL 안내나 단어 드롭아웃이 필요로 하지 않는 확률적 경사하강법을 사용해 모델을 엔드 투 엔드로 학습함으로써, VAE보다 학습을 단순화한다.
• 대화 응답 생성을 위한 인코더-디코더 아키텍처(WED)로 WAE 프레임워크를 확장하고, 결정론적 및 확률적 인코더 버전을 모두 평가한다.

실험 결과

연구 질문

• RQ1 기본 WAE에서 확률적 인코더가 왜 자연어처리 작업에서 결정론적 딜타-델타 함수로 붕괴하는가?
• RQ2 보조 KL 패널티를 적용한 수정된 WAE가 WAE 프레임워크의 이점을 유지하면서도 인코더의 확률적 특성을 효과적으로 유지할 수 있는가?
• RQ3 제안된 WAE 변종이 재구성 품질(BLEU)과 생성 다양성(엔트로피, 고유한 n-그램) 측면에서 VAE보다 어떻게 비교되는가?
• RQ4 제안된 방법이 자연어 생성에서 KL 안내나 단어 드롭아웃과 같은 학습 히우리스틱이 필요로 하지 않는가?
• RQ5 WAE 기반 모델이 VAE 기반 모델과 비교해 대화 시스템에서 높은 품질, 높은 다양성, 유창한 문장 생성을 달성할 수 있는가?

주요 결과

• 제안된 KL 패널티가 적용된 WAE는 SNLI 문장 생성 작업에서 BLEU-4 점수 22.5를 기록하여 VAE보다 40 BLEU 포인트 높고, 결정론적 오토에인코더(DAE)의 성능에 근접한다.
• KL 패널티가 적용된 WAE는 가장 높은 출력 다양성을 보이며, DailyDialog 코퍼스에서 Dist-2 점수 0.309를 기록하여 VAE 기반 모델(0.204)과 결정론적 WAE(0.272)를 크게 앞선다.
• 확률적 WAE 변종은 고도의 재구성 성능(BLEU-4 ≈ 22.5)을 유지하면서도 다양한 유창한 생성을 가능하게 하지만, 결정론적 WAE는 다양성이 부족하다.
• KL 안내나 단어 드롭아웃이 필요로 하지 않아도 되므로, VAE에 비해 더 뛰어난 안정성과 학습 용이성을 입증한다.
• 대화 생성에서 KL-패널티가 적용된 확률적 인코더를 가진 WED-S 모델은 BLEU 점수와 다양성 지표에서 VED, WED-D, DED를 모두 능가하여 더 뛰어난 생성 품질과 다양성을 확인한다.
• 이론적 및 실증적 분석을 통해 원래의 확률적 WAE 인코더가 딜타-델타 함수로 붕괴하는 경향이 있음을 확인하였고, 이는 제안된 KL 정규화의 필요성을 정당화한다.