[논문 리뷰] Training language GANs from Scratch

Cyprien de Masson d’Autume, Shakir Mohamed외 2명|arXiv (Cornell University)|2019. 05. 23.

Natural Language Processing Techniques참고 문헌 51인용 수 17

한 줄 요약

이 논문은 최대우도 사전학습 없이 언어 GAN을 처음부터 훈련할 수 있는 ScratchGAN을 제안한다. 큰 배치 크기, 조밀한 보상, 판별자 정규화를 조합함으로써 ScratchGAN은 EMNLP2017 뉴스 및 WikiText-103에서 품질 및 다양성 지표 모두에서 최대우도 훈련과 비슷한 성능을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) enjoy great success at image generation, but have proven difficult to train in the domain of natural language. Challenges with gradient estimation, optimization instability, and mode collapse have lead practitioners to resort to maximum likelihood pre-training, followed by small amounts of adversarial fine-tuning. The benefits of GAN fine-tuning for language generation are unclear, as the resulting models produce comparable or worse samples than traditional language models. We show it is in fact possible to train a language GAN from scratch -- without maximum likelihood pre-training. We combine existing techniques such as large batch sizes, dense rewards and discriminator regularization to stabilize and improve language GANs. The resulting model, ScratchGAN, performs comparably to maximum likelihood training on EMNLP2017 News and WikiText-103 corpora according to quality and diversity metrics.

연구 동기 및 목표

• 불안정한 최적화와 모드 붕괴로 인해 오랫동안 해결되지 않은 자연어 생성에서 GAN을 훈련하는 데 도전한다.
• 일반적으로 사용되지만 적대적 이점을 제한할 수 있는 언어 GAN의 최대우도 사전학습 필요성을 제거한다.
• 기존 언어 모델의 성능에 맞는 안정적이고 효과적인 종단간 언어 GAN 훈련 프레임워크를 개발한다.
• 적대적 훈련을 처음부터 수행할 경우 최대우도 방법과 유사한 고품질, 다각도적인 텍스트 샘플을 생성할 수 있음을 입증한다.

제안 방법

• 언어 분야에서 GAN 훈련 동안 기울기 추정을 안정화하기 위해 큰 미니배치 크기를 활용한다.
• 희소 보상보다 더 강력하고 정보가 풍부한 피드백을 생성자에게 제공하는 조밀한 보상을 도입한다.
• 과적합을 줄이고 훈련 안정성을 향상시키기 위해 판별자 정규화 기법을 적용한다.
• 최대우도 사전학습을 피하는 훈련 파이프라인을 설계하여 무작위 초기화에서 순수한 적대적 훈련을 가능하게 한다.
• 생성된 시퀀스의 진위성을 순서에서 순서로 평가하는 판별자를 사용한다.
• 구조적 및 훈련 수정을 통해 개선된 기울기 흐름을 확보한 적대적 목표를 통해 생성자와 판별자를 최적화한다.

실험 결과

연구 질문

• RQ1 최대우도 사전학습 없이 무작위 초기화에서 언어 GAN을 효과적으로 훈련시킬 수 있는가?
• RQ2 언어 GAN 훈련을 안정화하고 모드 붕괴를 방지하기 위해 필요한 훈련 기법은 무엇인가?
• RQ3 무작위 초기화에서 훈련된 GAN의 성능은 최대우도 사전학습 모델과 비교해 샘플 품질과 다양성 측면에서 어떻게 되는가?
• RQ4 조밀한 보상과 판별자 정규화는 언어 GAN 훈련의 안정성과 출력 품질 향상에 어느 정도 기여하는가?

주요 결과

• ScratchGAN은 EMNLP2017 뉴스 및 WikiText-103 데이터셋에서 최대우도 사전학습 모델과 동일한 수준의 생성 품질과 다양성을 달성한다.
• 사전학습이 필요 없이도 안정적인 훈련 동역학을 보이며, 일반적인 문제인 모드 붕괴와 최적화 불안정성 문제를 극복한다.
• 조밀한 보상은 희소 보상보다 더 정보가 풍부한 기울기를 제공함으로써 생성자 학습을 크게 향상시킨다.
• 판별자 정규화는 적대적 훈련 중 일반화 능력을 향상시키고 과적합을 줄인다.
• 제거 실험 결과, 큰 배치 크기와 조밀한 보상은 안정적인 훈련과 고품질 출력을 위해 핵심적인 역할을 한다.