[논문 리뷰] Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity

Sourya Basu, Govardana Sachitanandam Ramachandran외 2명|arXiv (Cornell University)|2020. 07. 29.

Topic Modeling참고 문헌 34인용 수 13

한 줄 요약

Mirostat은 피드백 기반 신경 텍스트 디코딩 알고리즘으로, 적응적으로 top-k 샘플링 파라미터를 조정하여 생성된 텍스트의 퍼플렉서티를 직접 제어한다. 하이퍼파라미터 튜닝 없이도 목표 퍼플렉서티 수준을 유지하며, 반복(지루함 함정)과 비일관성(혼란 함정)을 모두 방지한다. 인간 평가를 통해 다양한 언어 모델에서 유창성, 일관성 및 품질 향상이 확인되었다.

ABSTRACT

Neural text decoding is important for generating high-quality texts using language models. To generate high-quality text, popular decoding algorithms like top-k, top-p (nucleus), and temperature-based sampling truncate or distort the unreliable low probability tail of the language model. Though these methods generate high-quality text after parameter tuning, they are ad hoc. Not much is known about the control they provide over the statistics of the output, which is important since recent reports show text quality is highest for a specific range of likelihoods. Here, first we provide a theoretical analysis of perplexity in top-k, top-p, and temperature sampling, finding that cross-entropy behaves approximately linearly as a function of p in top-p sampling whereas it is a nonlinear function of k in top-k sampling, under Zipfian statistics. We use this analysis to design a feedback-based adaptive top-k text decoding algorithm called mirostat that generates text (of any length) with a predetermined value of perplexity, and thereby high-quality text without any tuning. Experiments show that for low values of k and p in top-k and top-p sampling, perplexity drops significantly with generated text length, which is also correlated with excessive repetitions in the text (the boredom trap). On the other hand, for large values of k and p, we find that perplexity increases with generated text length, which is correlated with incoherence in the text (confusion trap). Mirostat avoids both traps: experiments show that cross-entropy has a near-linear relation with repetition in generated text. This relation is almost independent of the sampling method but slightly dependent on the model used. Hence, for a given language model, control over perplexity also gives control over repetitions. Experiments with human raters for fluency, coherence, and quality further verify our findings.

연구 동기 및 목표

• 기존의 top-k, top-p, 온도 샘플링과 같은 디코딩 방법에서 퍼플렉서티에 대한 직접적 제어의 부족을 해결하기 위해.
• 원하는 퍼플렉서티 수준을 자동으로 유지할 수 있도록 하여 수동 하이퍼파라미터 튜닝이 필요 없도록 하기 위해.
• 고정되거나 부적절하게 선택된 샘플링 파라미터로 인해 발생하는 '지루함 함정'(과도한 반복)과 '혼란 함정'(비일관성)을 완화하기 위해.
• 퍼플렉서티와 텍스트 품질 간의 직접적이고 경험적으로 검증된 연관성, 특히 반복성과 일관성 측면에서의 관계를 확립하기 위해.
• 다양한 텍스트 길이와 언어 모델에 걸쳐 일관된 출력 품질을 유지할 수 있는 일반 목적의 디코딩 알고리즘을 제공하기 위해.

제안 방법

• 목표 퍼플렉서티를 유지하기 위해 k를 동적으로 조정하는 피드백 기반의 적응형 top-k 알고리즘인 mirostat 샘플링을 제안한다.
• 최근에 생성된 단어의 놀라움 값(음의 로그 확률)을 피드백 신호로 사용하여 잘라내기 임계값 μ를 업데이트한다.
• 관측된 교차 엔트로피와 목표 교차 엔트로피 τ 사이의 오차를 반복적으로 수정하기 위해 학습률 η를 사용한다.
• 두 가지 변형을 도입한다: mirostat (알고리즘 1)는 단어별 놀라움을 사용하고, mirostat 2 (알고리즘 2)는 고놀라움 단어를 임계값 기반으로 잘라낸다.
• top-k 및 top-p 샘플링에서 퍼플렉서티가 k와 p에 따라 어떻게 변화하는지를 모델링하기 위해 조르프 분포 기반 이론적 분석을 수행한다.
• GPT-2 및 CTRL을 포함한 여러 언어 모델에서 인간 평가를 통해 유창성, 일관성 및 종합 품질 측면에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 조르프 분포 기반의 단어 빈도 분포에서 top-k 및 top-p 샘플링에서 k 또는 p가 증가함에 따라 퍼플렉서티는 어떻게 변화하는가?
• RQ2 생성된 텍스트의 반복성과 출력의 교차 엔트로피(로그 퍼플렉서티) 간의 상관관계는 어느 정도인가?
• RQ3 피드백 기반 적응형 샘플링 방법은 수동 하이퍼파라미터 튜닝 없이도 목표 퍼플렉서티 수준을 유지할 수 있는가?
• RQ4 mirostat을 통해 퍼플렉서티를 제어하면 다양한 텍스트 길이와 언어 모델에서 반복성과 비일관성을 모두 줄일 수 있는가?
• RQ5 mirostat은 인간 평가에서 유창성, 일관성 및 종합 품질 측면에서 기준 샘플링 방법과 비교해 어떻게 성과를 내는가?

주요 결과

• top-k 및 top-p 샘플링에서 텍스트 길이에 따라 퍼플렉서티가 크게 증가하거나 감소하며, 이는 반복성 또는 비일관성으로 이어질 수 있다.
• 교차 엔트로피(로그 퍼플렉서티)와 반복률 사이에 거의 선형 관계가 존재함을 확인하여, 낮은 퍼플렉서티가 반복성을 감소시킴을 입증한다.
• mirostat은 장기간의 텍스트 생성 동안 목표 퍼플렉서티 수준을 성공적으로 유지하며, 지루함 함정과 혼란 함정을 모두 피한다.
• 인간 평가자들은 mirostat으로 생성된 텍스트가 top-k, top-p, 또는 온도 샘플링보다 더 유창하고 일관성 있고 종합적으로 높은 품질을 가졌다고 일관되게 평가했다.
• mirostat 2 (알고리즘 2)는 mirostat (알고리즘 1)와 유사한 성능을 보였지만, 부드럽게 평균화된 놀라움 값에서 유도되는 지연된 피드백으로 인해 mirostat 평균 (알고리즘 3)은 퍼플렉서티 제어에 실패했다.
• 알고리즘은 GPT-2, CTRL을 포함한 다양한 언어 모델에서 뛰어난 강건성을 보이며, 모델 고유의 어휘나 훈련 데이터에 관계없이 일관된 성능을 보였다.