[논문 리뷰] Contrastive Decoding: Open-ended Text Generation as Optimization

Xiang Lisa Li, Ari Holtzman외 6명|arXiv (Cornell University)|2022. 10. 27.

Natural Language Processing Techniques인용 수 7

한 줄 요약

대조적 디코딩(Contrastive Decoding, CD)은 대규모 '전문가' 언어 모델과 작은 '초보자' 모델 간의 로그 확률 차이를 최적화함으로써 개방형 텍스트 생성을 향상시키며, 전문가 모델의 출력을 통해 타당성을 강제한다. 추가 학습이 전혀 필요 없고 추론 오버헤드도 최소화되므로, 전문가 모델에서 직접 디코딩하거나 표준 기준인 nucleus 또는 top-k 샘플링을 사용하는 것보다 더 높은 품질, 더 높은 일관성, 더 높은 어휘 다양성을 갖는 텍스트를 생성한다.

ABSTRACT

Given a language model (LM), maximum probability is a poor decoding objective for open-ended generation, because it produces short and repetitive text. On the other hand, sampling can often produce incoherent text that drifts from the original topics. We propose contrastive decoding (CD), a reliable decoding approach that optimizes a contrastive objective subject to a plausibility constraint. The contrastive objective returns the difference between the likelihood under a large LM (called the expert, e.g. OPT-13B) and a small LM (called the amateur, e.g. OPT-125M), and the constraint ensures that the outputs are plausible. CD is inspired by the fact that the failures of larger LMs (e.g., repetition, incoherence) are even more prevalent in smaller LMs, and that this difference signals which texts should be preferred. CD requires zero additional training, and produces higher quality text than decoding from the larger LM alone. It also works across model scales (OPT-13B and GPT2-1.5B) and significantly outperforms four strong decoding algorithms (e.g., nucleus, top-k) in automatic and human evaluations across wikipedia, news and story domains.

연구 동기 및 목표

• 최대 확률 디코딩의 한계를 해결하기 위해, 이는 짧고 반복적인 출력을 생성하기 때문이며, 샘플링은 종종 일관성 없거나 주제에서 벗어난 생성을 유도하기 때문이다.
• 대규모 고성능 언어 모델(전문가)과 작은 능력이 떨어지는 모델(초보자) 간의 대조를 활용하여 개방형 텍스트 생성 품질을 향상시키기 위해.
• 전문가 모델의 강점을 극대화하고, 작은 모델에서 흔히 발생하는 반복성 및 일관성 결여와 같은 실패 모드를 억제하는 디코딩 전략을 개발하기 위해.
• 추가적인 피팅 또는 추가 학습 없이도 기존의 디코딩 방법보다 더 나은 생성 품질을 달성하기 위해.
• 이 방법이 모델 규모 및 도메인에 관계없이 일반화됨을 보여주기 위해, 위키피디아, 뉴스, 스토리 생성 등 다양한 분야에서 검증한다.

제안 방법

• CD는 전문가 언어 모델(LM)과 초보자 언어 모델(LM)에서 다음 토큰의 로그 확률 간의 차이를 최대화하는 최적화 문제로 디코딩을 공식화한다.
• 목적 함수는 다음과 같이 정의된다: $ \text{CD} = \log p_{\text{exp}}(x_i \mid x_{<i}) - \log p_{\text{ama}}(x_i \mid x_{<i}) $, 여기서 $ x_i $ 는 후보 다음 토큰이다.
• 타당성 제약 조건은 전문가 LM에서 충분히 높은 확률을 가지는 토큰들만을 검색 대상으로 제한하여, 생성된 텍스트가 유창하고 일관성 있게 유지되도록 보장한다.
• 이 방법은 자동회귀 방식으로 작동하며, 현재 컨텍스트를 기반으로 대조 점수를 바탕으로 한 번에 한 토큰씩 선택한다.
• 이 접근법은 두 개의 사전 훈련된 고정된 언어 모델을 사용한다: 대규모 전문가(예: OPT-13B)와 작은 초보자(예: OPT-125M), 둘 다 피팅되지 않았다.
• 대조 목적 함수는 전문가 모델에서는 매우 높은 확률을 가지지만 초보자 모델에서는 덜 확률적인 시퀀스를 암묵적으로 선호함으로써 사실 기반, 다양성 있고 일관성 있는 계속되는 텍스트를 강조한다.

실험 결과

연구 질문

• RQ1 대규모 및 소규모 언어 모델 간의 대조적 목적 함수가 추가 학습 없이도 텍스트 생성 품질 향상에 기여할 수 있는가?
• RQ2 전문가 모델과 초보자 모델 간의 대조가 반복성 및 일관성 결여와 같은 일반적인 실패 모드를 효과적으로 억제하는가?
• RQ3 nucleus 샘플링, top-k, typical 디코딩과 같은 기존의 디코딩 전략과 비교해 대조적 디코딩은 다양한 도메인에서 어떻게 성능을 내는가?
• RQ4 대조적 디코딩의 성능은 전문가 모델과 초보자 모델 간의 규모 차이에 따라 달라지는가?
• RQ5 대조적 디코딩은 개방형 생성에서 유창성을 유지하면서도 일관성과 어휘 다양성을 크게 향상시킬 수 있는가?

주요 결과

• 대조적 디코딩은 위키피디아, 뉴스, 스토리 생성 도메인에서 생성 텍스트의 일관성을 크게 향상시키며, 자동 평가 및 인간 평가 모두에서 nucleus 샘플링, top-k, typical 디코딩, SimCTG를 모두 능가한다.
• 추가 학습이 전혀 필요 없음에도 불구하고, 전문가 모델에서 직접 디코딩하는 것보다 더 높은 품질의 출력을 생성한다.
• 인간 평가 결과, CD로 생성된 텍스트는 기준보다 더 일관성 있고 어휘 다양성이 높으며, 유창성은 유지되거나 향상된 것으로 나타났다.
• 전문가 모델과 초보자 모델 간의 규모 차이가 클수록 CD의 성능이 향상되며, 이는 초보자 모델이 훨씬 작을 경우 대조 신호가 더 강력하다는 것을 시사한다.
• CD는 추론 오버헤드가 매우 적다. 초보자 모델이 작고 빠르기 때문에 실시간 응용에 실용적이다.
• 예시 생성에서 CD는 "Exit Through the Kwik-E-Mart" 에피소드에 대해 일관성 있고 사실적인 계속되는 내용을 정확히 생성했지만, nucleus 샘플링은 일관성 없거나 주제에서 벗어난 출력을 생성했다.