[논문 리뷰] Language Generation with Recurrent Generative Adversarial Networks without Pre-training

Ofir Press, Amir Bar외 3명|arXiv (Cornell University)|2017. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 90

한 줄 요약

이 논문은 pre-training 없이 처음부터 커리큘럼 학습, 가변 길이 훈련, 그리고 교사 보조를 사용하여 언어 생성을 위한 RNN 기반 GAN을 학습하여 일관된 텍스트를 생성합니다. CNN 기반의 베이스라인보다 향상을 보이고 더 긴 시퀀스로 일반화합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have shown great promise recently in image generation. Training GANs for language generation has proven to be more difficult, because of the non-differentiable nature of generating text with recurrent neural networks. Consequently, past work has either resorted to pre-training with maximum-likelihood or used convolutional networks for generation. In this work, we show that recurrent neural networks can be trained to generate text with GANs from scratch using curriculum learning, by slowly teaching the model to generate sequences of increasing and variable length. We empirically show that our approach vastly improves the quality of generated sequences compared to a convolutional baseline.

연구 동기 및 목표

• 사전 훈련 없이 GAN으로 언어 생성을 학습하도록 동기를 부여하여 노출 편향과 엄격한 ML 손실 문제를 극복합니다.
• Improved Wasserstein GAN 목표하에 RNN 생성기와 판별기가 엔드-투-엔드로 학습될 수 있음을 입증합니다.
• 증가하는 시퀀스 길이를 가진 커리큘럼 학습이 안정적인 학습과 생성 텍스트 품질에 기여함을 보여줍니다.
• Variable Length 및 Teacher Helping와 같은 확장이 시퀀스 품질과 일반화에 어떤 향상을 가져오는지 평가합니다.

제안 방법

• 생성기와 판별기 모두에 GRU-based RNN을 사용하고 입력의 연속 이완을 통해 미분 가능성을 확보합니다.
• Discriminator가 스칼라 점수를 제공하는 Improved Wasserstein GAN 목표하에 학습합니다.
• 학습 중에 생성되는 시퀀스 길이를 점진적으로 증가시키기 위해 커리큘럼 학습을 활용합니다.
• 배치 내에서 여러 길이의 시퀀스를 사용하는 Variable Length 학습을 도입합니다.
• 최종 문자 생성을 안내하기 위해 짧은 ground truth prefixes에 조건을 주는 Teacher Helping을 도입합니다.
• 노이즈를 N(0,10)에서 샘플링하여 실험하고 학습 안정화를 위해 생성기를 판별기보다 더 자주 학습시키는 방법을 실험합니다.

실험 결과

연구 질문

• RQ1 사전 학습 없이 처음부터 GAN 목표로 RNN 기반 생성기를 학습시켜 일관된 텍스트를 생성할 수 있습니까?
• RQ2 커리큘럼 학습, 가변 길이 학습, 그리고 교사 보조가 GAN으로 생성된 텍스트의 품질과 일관성을 CNN 베이스라인과 비교하여 향상시키나요?
• RQ3 모델이 훈련 중 본 시퀀스보다 더 긴 시퀀스로 일반화되나요?
• RQ4 훈련 역학(생성기/판별기 업데이트 비율, 노이즈 스케일)이 텍스트 생성 품질에 미치는 영향은 무엇인가요?

주요 결과

• RNN 기반 GAN은 Improved Wasserstein GAN 목표를 사용하여 처음부터 자연어를 생성하도록 학습할 수 있습니다.
• 커리큘럼 학습, 가변 길이, 그리고 교사 보조의 조합은 최상의 결과를 낳으며, 보유 데이터에 대한 단어 n-그램 유사도에서 베이스라인 CNN 모델을 능가합니다.
• CL+VL+TH 모델은 길이 64 시퀀스의 생성 텍스트에서 4-그램 단어 중 3.8%가 보유 테스트 세트에도 나타난다는 것을 달성합니다.
• 커리큘럼 학습만으로는 충분하지 않으며; 가변 길이와 교사 보조가 성능 향상에 중요합니다.
• 길이 32까지의 시퀀스로 학습된 모델은 성능 저하가 작아 길이 64로 일반화합니다.