[논문 리뷰] The Curious Case of Neural Text Degeneration

Ari Holtzman, Jan Buys외 3명|arXiv (Cornell University)|2019. 04. 22.

Topic Modeling참고 문헌 40인용 수 1,100

한 줄 요약

논문은 개방형 텍스트 생성에 대한 디코딩 전략을 분석하고, 분포의 신뢰할 수 없는 꼬리를 잘라 더 높은 품질과 더 다양한 텍스트를 생성하는 Nucleus Sampling을 도입한다. 이전 방법들보다 우수한 품질과 다양성을 제공한다.

ABSTRACT

Despite considerable advancements with deep neural language models, the enigma of neural text degeneration persists when these models are tested as text generators. The counter-intuitive empirical observation is that even though the use of likelihood as training objective leads to high quality models for a broad range of language understanding tasks, using likelihood as a decoding objective leads to text that is bland and strangely repetitive. In this paper, we reveal surprising distributional differences between human text and machine text. In addition, we find that decoding strategies alone can dramatically effect the quality of machine text, even when generated from exactly the same neural language model. Our findings motivate Nucleus Sampling, a simple but effective method to draw the best out of neural generation. By sampling text from the dynamic nucleus of the probability distribution, which allows for diversity while effectively truncating the less reliable tail of the distribution, the resulting text better demonstrates the quality of human text, yielding enhanced diversity without sacrificing fluency and coherence.

연구 동기 및 목표

• 개방형 생성에서 신경망 텍스트 저하를 노출한다.
• 분포, 혼잡도(perplexity), 인간 평가 기준에 걸쳐 디코딩 전략을 비교한다.
• 장문 텍스트를 위한 선호 디코딩 방법으로 Nucleus Sampling을 제안하고 검증한다.
• 대안들보다 nucleus sampling을 언제, 왜 사용할지에 대한 실용적 지침을 제공한다.

제안 방법

• 최소 누적 확률이 p에 도달하는 가장 작은 집합으로 top-p(핵심) 어휘를 정의한다.
• nucleus 안의 분포를 재정규화하고 그로부터 샘플링한다.
• 분포적 지표와 인간 평가(HUSE)를 사용해 nucleus sampling과 top-k, 온도, 빔 탐색, 순수 샘플링을 비교한다.
• WebText 데이터를 사용한 GPT-2 Large(762M) 생성 형 트랜스포머로 평가한다.
• 품질과 다양성을 평가하기 위해 perplexity, Zipf 계수, Self-BLEU, 반복, HUSE를 분석한다.

실험 결과

연구 질문

• RQ1 최대화 기반 디코딩(예: 빔 탐색)이 개방형 생성에서 열화된 반복 텍스트를 생성할 수 있는가?
• RQ2 모델 분포의 잘려진 꼬리에서 샘플링하는 nucleus sampling이 고품질이면서도 다양한 텍스트를 산출하는가?
• RQ3 다른 디코딩 전략들이 분포적, 통계적, 인간 평가 기준에서 인간 텍스트와 어떻게 비교되는가?

주요 결과

• 최대화 기반 디코딩은 개방형 생성에서 반복적이거나 일반적인 텍스트를 자주 생성한다.
• 모델의 꼬리 분포는 신뢰할 수 없으므로 생성 중 잘라내야 한다.
• Nucleus Sampling은 인간의 perplexity와 다양성에 근접하고 HUSE 평가에 따라 전반적인 품질-다양성 균형이 가장 좋다.
• Nucleus Sampling은 Zipf 및 다양성 지표에서 거의 인간 수준의 분포 특성을 보이며 반복을 피한다.
• Top-k 샘플링과 온도는 맥락에 따라 단점이 있으며, 순수 샘플링은 일관성이 떨어질 수 있다.