[논문 리뷰] MaskGAN: Better Text Generation via Filling in the______

William Fedus, Ian Goodfellow외 1명|arXiv (Cornell University)|2018. 01. 23.

Topic Modeling참고 문헌 6인용 수 256

한 줄 요약

MaskGAN은 컨텍스트에 조건부로 누락된 텍스트를 채우는 배우-비평가(액터-크리틱) 조건부 GAN을 도입하여 PTB와 IMDB 데이터셋에서 표준 ML-학습 기준선보다 샘플 품질을 향상시킵니다.

ABSTRACT

Neural text generation models are often autoregressive language models or seq2seq models. These models generate text by sampling words sequentially, with each word conditioned on the previous word, and are state-of-the-art for several machine translation and summarization benchmarks. These benchmarks are often defined by validation perplexity even though this is not a direct measure of the quality of the generated text. Additionally, these models are typically trained via maxi- mum likelihood and teacher forcing. These methods are well-suited to optimizing perplexity but can result in poor sample quality since generating text requires conditioning on sequences of words that may have never been observed at training time. We propose to improve sample quality using Generative Adversarial Networks (GANs), which explicitly train the generator to produce high quality samples and have shown a lot of success in image generation. GANs were originally designed to output differentiable values, so discrete language generation is challenging for them. We claim that validation perplexity alone is not indicative of the quality of text generated by a model. We introduce an actor-critic conditional GAN that fills in missing text conditioned on the surrounding context. We show qualitatively and quantitatively, evidence that this produces more realistic conditional and unconditional text samples compared to a maximum likelihood trained model.

연구 동기 및 목표

• 자 autoregressive 및 seq2seq 텍스트 생성기의 유효성 검사 perplexity를 넘어서 샘플 품질을 개선하려는 동기.
• 주변 맥락으로 조건부로 누락 토큰을 채우는 텍스트 인-필링 태스크를 제안합니다.
• 판별기가 안내하는 강화학습의 배우-비평가 프레임워크를 사용하여 제너레이터를 훈련합니다.
• 인-필링 설정 및 비평가의 보조를 통해 텍스트 GAN에서 흔한 학습 불안정성과 모드 붕괴를 완화합니다.

제안 방법

• 과거 맥락과 미래 맥락에 조건부로 마스킹된 토큰을 채우는 seq2seq 제너레이터를 사용합니다.
• 원래 맥락이 주어졌을 때 채워진 각 토큰을 평가하는 판별기를 훈련시켜 토큰 수준의 보상을 제공합니다.
• 크래시가 발생하는 그래디언트 분산을 감소시키기 위해 비평가가 기준선을 제공하는 배우-비평가 강화학습 객체를 채택합니다.
• 보상은 판별기의 로그 확률로 정의하고 정책 그래디언트를 통해 최적화합니다.
• 적대적 미세조정 전에 최대우도 언어 모델로 사전 학습합니다.
• 장문 시퀀스와 큰 어휘에 대한 커리큘럼 형식의 조정도 선택적으로 적용합니다.

실험 결과

연구 질문

• RQ1 토큰 수준의 판별기를 갖춘 텍스트 인-필링 태스크가 기존 ML-학습 모델보다 더 나은 샘플 품질을 제공할 수 있는가?
• RQ2 배우-비평가 학습 구조가 그래디언트 분산을 줄이고 GAN 기반 텍스트 생성을 안정화하는가?
• RQ3 MaskGAN은 PTB 및 IMDB에서 조건부 및 무조건부 텍스트 생성에서 MaskMLE와 비교해 어떤 성능을 보이는가?
• RQ4 인간 평가에서 생성 텍스트의 현실감 개선을 뒷받침하는 증거는 무엇인가?
• RQ5 BLEU에서 영감을 받은 지표와 n-그램 다양성 지표가 MaskGAN의 모드 커버리지 및 샘플 품질을 어떻게 반영하는가?

주요 결과

• MaskGAN은 질적 평가 및 일부 정량적 지표에 따른 무작위가 필요한 학습 모델보다 더 현실적인 조건부 및 무조건부 텍스트 샘플을 생성합니다.
• 생성된 샘플에 대한 perplexity 기반 측정은 항상 샘플 품질과 일치하지 않으며, 일부 설정에서 MaskGAN이 베이스라인보다 생성 샘플의 perplexity가 낮은 모습을 보입니다.
• 인간 평가에서 IMDB 데이터셋에 대해 MaskGAN 샘플이 MaskMLE보다 문법성, 주제성 및 전반적 품질에서 우수한 것으로 나타났습니다.
• MaskGAN은 고유 4그램의 감소로 인해 일부 모드 붕괴가 나타나지만 전반적으로 생성된 샘플은 모델 간에 여전히 다양합니다.
• 사전 학습 및 비평가의 포함은 그래디언트 분산을 크게 줄이고 학습 안정성을 향상시킵니다.