[논문 리뷰] Probabilistic Natural Language Generation with Wasserstein Autoencoders.

Hareesh Bahuleyan, Lili Mou외 3명|arXiv (Cornell University)|2018. 06. 22.

Topic Modeling참고 문헌 15인용 수 5

한 줄 요약

이 논문은 변분 오토인코더(VAE)의 문제적인 KL 소실 기울기 문제를 피하기 위해 확률적 자연어 생성을 위한 워샤르스타인 오토인코더(WAE)를 제안한다. 이 방법은 가중치 안내 기법 없이도 안정적이고 하이퍼파rameter에 덜 민감한 학습을 가능하게 하며, 더 매끄러운 잠재 공간을 제공하고 표준 VAE보다 훨씬 높은 BLEU 점수를 기록하여 문장 재구성 성능을 향상시킨다.

ABSTRACT

Probabilistic generation of natural language sentences is an important task in NLP. Existing models such as variational autoencoders (VAE) for sequence generation are extremely difficult to train due to the issues associated with the Kullback-Leibler (KL) loss collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a text VAE. In this paper, we propose the use of Wasserstein autoencoders (WAE) for probabilistic natural language sentence generation. We show that sequence-to-sequence WAEs are more robust towards hyperparameters and can be trained in a straightforward manner without the need for any weight annealing. Empirical evidence shows that the latent space learned by WAEs exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

연구 동기 및 목표

• 변분 오토인코더(VAE)가 자연어 생성에서 KL 손실 붕괴로 인해 발생하는 불안정성과 학습 곤란 문제를 해결하기 위해.
• 워샤르스타인 오토인코더(WAE)가 순서 생성에 더 안정적인 대안을 제공할 수 있는지, 최적화 행동이 향상되는지 탐색하기 위해.
• VAE와 유사하게 연속성과 매끄러움을 유지하는 바람직한 잠재 공간 성질을 WAE가 유지하는지 평가하기 위해.
• 자동 평가 지표인 BLEU와 같은 지표를 사용해 WAE와 VAE의 재구성 품질을 비교하기 위해.

제안 방법

• 저자들은 WAE 프레임워크를 시퀀스 간 생성에 적용하여, 표준 VAE 목표를 워샤르스타인 거리 기반의 분포 매칭 손실로 대체한다.
• 모델은 잠재 코드의 사전분포와 사후분포 간의 워샤르스타인 거리를 최소화함으로써 잠재 공간을 학습한다.
• VAE와 달리 KL 발산을 사용하지 않기 때문에 학습 중에 KL 가중치 안내 기법이 필요 없어진다.
• 재파라미터화 기법을 사용한 인코더-디코더 구조를 사용하여 확률적 잠재 변수를 통해 역전파를 가능하게 한다.
• 경사 기반 최적화 방법을 사용하여 목표 함수를 최적화하며, 히우리스틱 스케줄링이 필요 없다.
• 모델은 텍스트 시퀀스에서 엔드 투 엔드로 학습되며, 분포 매칭 제약 조건을 통해 잠재 공간이 정규화된다.

실험 결과

연구 질문

• RQ1 WAE는 자연어 처리 분야의 시퀀스 생성 작업에 성공적으로 적용될 수 있는가?
• RQ2 WAE 프레임워크는 텍스트 오토인코더에서 KL 가중치 안내 기법이 필요 없음을 제거하는가?
• RQ3 WAE에서 학습된 잠재 공간은 VAE의 잠재 공간과 비교해 연속성과 매끄러움 측면에서 어떻게 다른가?
• RQ4 WAE의 재구성 성능은 표준 NLP 벤치마크에서 VAE와 비교해 어떠한가?
• RQ5 기존 VAE보다 WAE 접근법은 하이퍼파rameter 설정에 더 강건한가?

주요 결과

• WAE 기반 모델은 표준 VAE보다 문장 재구성에 훨씬 높은 BLEU 점수를 기록하여 더 나은 생성 품질을 나타낸다.
• WAE가 학습한 잠재 공간은 VAE와 유사하게 연속성과 매끄러움을 보였으며, 의미 있는 분리 표현을 의미한다.
• 학습 과정은 안정적이었고, KL 가중치 안내 기법과 같은 히우리스틱 기법이 필요하지 않았다.
• 모델은 하이퍼파rameter 설정에 대해 강건하여 세밀한 튜닝이 줄어들었다.
• 실험 결과, WAE는 순서 생성 작업에서 VAE보다 학습 안정성과 생성 품질 측면에서 뛰어나다는 것이 확인되었다.