[논문 리뷰] Language GANs Falling Short

M. Caccia, Lucas Caccia외 4명|arXiv (Cornell University)|2018. 11. 06.

Topic Modeling참고 문헌 38인용 수 81

한 줄 요약

이 논문은 잘 튜닝된 최대우도(MLE) 언어 모델이 품질과 다양성 모두에서 GAN 기반 텍스트 생성보다 우수함을 온도 스윕 평가 프레임워크를 사용해 보여준다.

ABSTRACT

Generating high-quality text with sufficient diversity is essential for a wide range of Natural Language Generation (NLG) tasks. Maximum-Likelihood (MLE) models trained with teacher forcing have consistently been reported as weak baselines, where poor performance is attributed to exposure bias (Bengio et al., 2015; Ranzato et al., 2015); at inference time, the model is fed its own prediction instead of a ground-truth token, which can lead to accumulating errors and poor samples. This line of reasoning has led to an outbreak of adversarial based approaches for NLG, on the account that GANs do not suffer from exposure bias. In this work, we make several surprising observations which contradict common beliefs. First, we revisit the canonical evaluation framework for NLG, and point out fundamental flaws with quality-only evaluation: we show that one can outperform such metrics using a simple, well-known temperature parameter to artificially reduce the entropy of the model's conditional distributions. Second, we leverage the control over the quality / diversity trade-off given by this parameter to evaluate models over the whole quality-diversity spectrum and find MLE models constantly outperform the proposed GAN variants over the whole quality-diversity space. Our results have several implications: 1) The impact of exposure bias on sample quality is less severe than previously thought, 2) temperature tuning provides a better quality / diversity trade-off than adversarial training while being easier to train, easier to cross-validate, and less computationally expensive. Code to reproduce the experiments is available at github.com/pclucas14/GansFallingShort

연구 동기 및 목표

• GAN 기반 텍스트 생성이 품질과 다양성 모두에서 MLE baselines를 능가할 수 있는지 여부를 조사한다.
• 노출 편향(exposure bias) 및 비미분 가능 GAN 학습이 샘플 품질과 다양성에 미치는 영향을 평가한다.
• 품질-다양성 스펙트럼에서 NLG 모델을 비교하는 견고하고 편향이 낮은 평가 프레임워크를 제안한다.
• 온도 제어 샘플링 및 기타 디코딩 전략을 사용해 trade-off를 정량화한다.

제안 방법

• 자가회귀 생성에서 엔트로피를 제어하기 위해 볼츠만 온도 파라미터를 정의한다.
• 모델 간 품질-다양성 트레이드오프를 매핑하는 온도 스윕을 도입한다.
• 온도 스윕 하에서 다양한 GAN 변형(RL 및 비-RL)과 비교하는 자동회귀 MLE baselines를 비교한다.
• 지역적 지표(BLEU, Self-BLEU) 및 글로벌 지표(Language Model score, Reverse LM score)로 평가한다.
• 품질 대 다양성에 대한 영향을 분석하기 위해 디코딩 전략(온도 조정, 확률적 빔 서치, 생성기 거부)을 평가한다.

실험 결과

연구 질문

• RQ1 온도-제어 샘플링이 NLG 모델 간 품질 및 다양성의 공정하고 편향 감소된 비교를 제공하는가?
• RQ2 MLE 모델이 전체 품질-다양성 공간에서 GAN 기반 텍스트 생성자보다 우월한가?
• RQ3 다양한 모델에 대한 품질-다양성 트레이드오프 인식을 디코딩 전략이 어떻게 영향을 미치는가?
• RQ4 노출 편향이 텍스트 생성의 주요 병목인가, 아니면 GAN의 최적화/학습 문제들이 지배하는가?
• RQ5 NLG 모델에 대한 다양한 평가/탐색 기법의 실제 비용과 편향은 무엇인가?

주요 결과

모델	NLL 오라클
SeqGAN (Yu et al., 2017)	8.74
RankGAN (Lin et al., 2017)	8.25
LeakGAN (Guo et al., 2017)	7.04
IRL (Shi et al., 2018)	6.91
MLE (α=1.0)	9.40
MLE (α=0.4)	5.50
MLE (α=0.001)	4.58

• 온도 스윕 하에서 품질-다양성 공간 전반에 걸쳐 GAN 변 variant보다 MLE 모델이 일관되게 우수하다.
• 온도를 낮추면 품질은 개선되지만 다양성은 감소하고; 온도를 높이면 다양성은 증가하지만 제어 가능한 방식으로 품질이 손상될 수 있다.
• GAN 학습은 생성기 분포의 엔트로피를 감소시켜 다양성을 낮추고 트레이드오프를 악화시키는 경향이 있다.
• 확률적 빔 서치(pSBS) 및 생성기 거부와 같은 디코딩 방법은 편향과 계산 비용이 있어 효과를 제한하며, 온도 스윕이 효율적이고 편향 없는 평가를 제공한다.
• 온도 조정만으로도 성능 차이를 드러내기에 충분한 경우가 많으며, 합리적 계산으로 최고 품질-다양성 균형을 제공하는 것은 MLE이다.