[논문 리뷰] Neural Text Generation with Unlikelihood Training

Sean Welleck, Ilia Kulikov외 4명|arXiv (Cornell University)|2019. 08. 12.

Topic Modeling참고 문헌 31인용 수 241

한 줄 요약

이 연구에는 신경 텍스트 생성에서 degeneration을 줄이기 위한 unlikelihood training을 도입하여 반복성과 토큰 분포를 개선하고 perplexity를 유지하며, 빔 서치 등 다양한 해독 전략에서 표준 likelihood training보다 우수함을 보임.

ABSTRACT

Neural text generation is a key tool in natural language applications, but it is well known there are major problems at its core. In particular, standard likelihood training and decoding leads to dull and repetitive outputs. While some post-hoc fixes have been proposed, in particular top-$k$ and nucleus sampling, they do not address the fact that the token-level probabilities predicted by the model are poor. In this paper we show that the likelihood objective itself is at fault, resulting in a model that assigns too much probability to sequences containing repeats and frequent words, unlike those from the human training distribution. We propose a new objective, unlikelihood training, which forces unlikely generations to be assigned lower probability by the model. We show that both token and sequence level unlikelihood training give less repetitive, less dull text while maintaining perplexity, giving superior generations using standard greedy or beam search. According to human evaluations, our approach with standard beam search also outperforms the currently popular decoding methods of nucleus sampling or beam blocking, thus providing a strong alternative to existing techniques.

연구 동기 및 목표

• 최대 가능도(ML)로 학습된 신경 텍스트 생성에서의 degeneration을 동기 부여하고 분석한다.
• 희귀하거나 반복적인 토큰을 벌하기 위한 학습 목표(unlikelihood)를 제안한다.
• 생성 품질 향상을 위한 토큰 수준 및 시퀀스 수준의 unlikelihood 손실을 개발한다.
• 해독 방법 전반에서 반복, 토큰 분포, 인간 판단의 개선을 입증한다.
• GPT-2와 같은 대형 모델의 파인튜닝에 실용적인 학습 업데이트로의 적용 가능성을 보인다.

제안 방법

• 다음 토큰 예측 중 부정적 토큰 후보를 벌하는 unlikelihood 손실을 정의한다.
• 토큰 수준에서 likelihood 업데이트와 unlikelihood 업데이트를 결합한다 (L_UL-token).
• 이전 컨텍스트 토큰을 음수 후보로 사용하여 반복과 자주 등장하는 토큰의 과다 사용을 억제한다.
• 모델이 생성한 연속 부분에 페널티를 적용하여 train–test 분포 불일치를 해결하는 시퀀스 수준 unlikelihood (L_ULS)를 도입한다.
• 효율적인 개선을 위해 L_UL-token과 L_UL-seq 손실의 혼합으로 파인튜닝한다.
• 효율성을 보여준다: 시퀀스 수준 파인튜닝은 약 1,500 업데이트 내로 효과적일 수 있다.

실험 결과

연구 질문

• RQ1 최대 가능도 학습과 비교했을 때 unlikelihood 학습이 생성된 텍스트의 반복성과 무미함을 줄일 수 있는가?
• RQ2 생성 품질을 향상시키면서 perplexity와 토큰 정확도를 보존하는가?
• RQ3 토큰 수준 및 시퀀스 수준의 unlikelihood 목표가 보완적 이점을 제공하고, 인간 판단에서 기존 디코딩 수정(top-k, nucleus, beam blocking)을 능가할 수 있는가?
• RQ4 GPT-2와 같은 대형 Transformer 기반 언어 모델 및 사전 학습 시스템에 파인튜닝을 통해 unlikelihood 학습이 효과적인가?
• RQ5 생성 품질 측면에서 서로 다른 디코딩 전략이 unlikelihood-훈련된 모델과 어떤 상호작용을 하는가?

주요 결과

• Unlikelihood training reduces both token-level repetition and sequence-level repetition compared toMLE baselines.
• Token-level unlikelihood increases the number of unique next tokens and lowers repetition (wrep) without significant loss in perplexity or accuracy.
• Sequence-level unlikelihood further reduces repetition dramatically (e.g., seq-rep-4 substantially lower) and yields more unique token continuations.
• Fine-tuning with sequence-level unlikelihood (or combined token+sequence) significantly outperforms likelihood-trained models using nucleus sampling or beam blocking in human evaluations.
• The approach is effective across deterministic (greedy/beam) and stochastic decoding, and can improve existing pre-trained models with relatively few updates (≈1,500).
• GPT-2 fine-tuning with unlikelihood objectives yields comparable gains in repetition reduction and maintains language modeling quality.