[논문 리뷰] Text Generation Based on Generative Adversarial Nets with Latent Variable

Heng Wang, Zengchang Qin외 1명|arXiv (Cornell University)|2017. 12. 01.

Topic Modeling참고 문헌 18인용 수 3

한 줄 요약

이 논문은 다양성과 현실감을 향상시키기 위해 변동형 오토인코더(VAE)와 생성적 적대적 네트워크(GAN)를 결합한 텍스트 생성 모델인 VGAN을 제안한다. 잠재 변수를 활용하여 RNN 기반 생성기와 VAE, CNN 판별기를 통합하고 정책 기반 강화 학습을 통해 훈련함으로써, 세 가지 벤치마크 데이터셋에서 RNNLM과 SeqGAN을 모두 능가하는 최신 기술 성능을 달성한다. 특히, 음의 로그우도와 BLEU 점수 측면에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a model using generative adversarial net (GAN) to generate realistic text. Instead of using standard GAN, we combine variational autoencoder (VAE) with generative adversarial net. The use of high-level latent random variables is helpful to learn the data distribution and solve the problem that generative adversarial net always emits the similar data. We propose the VGAN model where the generative model is composed of recurrent neural network and VAE. The discriminative model is a convolutional neural network. We train the model via policy gradient. We apply the proposed model to the task of text generation and compare it to other recent neural network based models, such as recurrent neural network language model and SeqGAN. We evaluate the performance of the model by calculating negative log-likelihood and the BLEU score. We conduct experiments on three benchmark datasets, and results show that our model outperforms other previous models.

연구 동기 및 목표

• 표준 GAN이 텍스트 생성에서 겪는 문제, 특히 모드 붕괴와 다양성 부족을 해결한다.
• RNN 언어 모델의 노출 편향과 단어 수준 훈련 및 문장 수준 평가 간 불일치 문제를 해결한다.
• 이산 시퀀스 생성에서 고수준의 잠재 랜덤 변수를 도입하여 데이터 분포 모델링을 향상시킨다.
• VAE와 GAN을 통합하여 생성 텍스트의 다양성과 현실감을 향상시키는 통합 프레임워크를 개발한다.
• 음의 로그우도와 n-그램 유사도 지표를 모두 활용하여 표준 텍스트 생성 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 잠재 변수를 더 잘 학습하기 위해 RNN과 VAE를 결합한 생성기를 갖춘 VGAN을 제안한다.
• 실제와 생성된 텍스트 시퀀스를 구분하기 위해 컨volutional 신경망(CNN)을 판별기로 사용한다.
• 생성기의 적대적 목표를 최적화하기 위해 정책 기반 강화 학습을 사용하여 이산 출력을 통해 역전파를 가능하게 한다.
• 진짜 잠재 변수의 사후 분포를 근사하기 위해 변동형 추론 프레임워크를 도입하여 엔드 투 엔드 훈련을 가능하게 한다.
• 판별기에서 유도된 보상 신호를 활용한 적대적 훈련을 통해 생성기 정책을 향상시킨다.
• 적대적 미세조정 이전에 VAE 목표를 사용해 생성기를 사전 훈련하여 훈련 안정성과 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 VAE와 GAN을 결합함으로써 표준 GAN이나 RNNLM에 비해 생성 텍스트의 다양성과 현실감을 향상시킬 수 있는가?
• RQ2 생성기에서 고수준의 잠재 변수를 사용하면 이산 시퀀스 생성에서 모드 붕괴 문제를 완화하고 데이터 분포 모델링을 향상시킬 수 있는가?
• RQ3 적대적 훈련 프레임워크 내에서 정책 기반 강화 학습이 이산 시퀀스 생성기를 효과적으로 최적화할 수 있는가?
• RQ4 여러 데이터셋에서 음의 로그우도와 BLEU 점수 측면에서 제안된 VGAN 모델이 RNNLM과 SeqGAN과 비교해 어떻게 성능을 냈는가?
• RQ5 생성기의 사전 훈련 단계(즉, VAE를 통한 사전 훈련)가 VGAN 프레임워크 내에서 더 안정적이고 향상된 적대적 훈련을 이끌어낼 수 있는가?

주요 결과

• Taobao 데이터셋에서 VGAN은 음의 로그우도(NLL) 191을 기록하여 RNNLM(219)과 SeqGAN(212)을 모두 능가한다.
• Amazon 데이터셋에서 VGAN은 NLL 408을 기록하여 RNNLM(483)과 SeqGAN(467)보다 유의미하게 낮다.
• PTB 데이터셋에서 VGAN은 NLL 423을 기록하여 RNNLM(502), SeqGAN(490), 그리고 사전 훈련된 VGAN-pre(465)를 모두 능가한다.
• Taobao 데이터셋에서 VGAN은 BLEU-2 점수 0.969를 기록하여 RNNLM(0.965), SeqGAN(0.968), VGAN-pre(0.968)를 모두 초월한다.
• Amazon 데이터셋에서 VGAN은 BLEU-2 점수 0.868을 기록하여 RNNLM(0.848), SeqGAN(0.856), VGAN-pre(0.848)를 능가한다.
• 적대적 훈련 과정은 모든 데이터셋에서 일관되고 유의미한 NLL 감소를 이끌어내어 시간이 지남에 따라 생성기 성능 향상을 시사한다.