[논문 리뷰] A Contrastive Framework for Neural Text Generation

Yixuan Su, Lü Tian외 4명|arXiv (Cornell University)|2022. 02. 13.

Topic Modeling인용 수 83

한 줄 요약

본 논문은 SimCTG를 소개한다. 구별 가능하고 등분포(등방성) 토큰 표현을 만들기 위한 contrastive training objective와, 생성 텍스트의 응집도와 다양성을 균형 있게 조절하는 contrastive search로 불리는 디코딩 방법을 제시한다. 여러 벤치마크와 언어에서 최첨단 성능을 보인다.

ABSTRACT

Text generation is of great importance to many natural language processing applications. However, maximization-based decoding methods (e.g. beam search) of neural language models often lead to degenerate solutions -- the generated text is unnatural and contains undesirable repetitions. Existing approaches introduce stochasticity via sampling or modify training objectives to decrease probabilities of certain tokens (e.g., unlikelihood training). However, they often lead to solutions that lack coherence. In this work, we show that an underlying reason for model degeneration is the anisotropic distribution of token representations. We present a contrastive solution: (i) SimCTG, a contrastive training objective to calibrate the model's representation space, and (ii) a decoding method -- contrastive search -- to encourage diversity while maintaining coherence in the generated text. Extensive experiments and analyses on three benchmarks from two languages demonstrate that our proposed approach significantly outperforms current state-of-the-art text generation methods as evaluated by both human and automatic metrics.

연구 동기 및 목표

• 표준 가능도 기반 학습 및 디코딩을 사용할 때 신경 텍스트 생성의 열화 현상을 동기부여하고 해결한다.
• 토큰 표현을 등방성과 판별 가능성으로 보정하기 위한 contrastive 학습 목적을 제안한다.
• 응집도를 유지하면서 다양성을 향상시키는 디코딩 알고리즘(contrastive search)을 소개한다.

제안 방법

• 코사인 유사도와 여백 rho를 사용하여 판별 가능한 토큰 표현을 촉진하도록 contrastive 손실 L_CL를 정의하고 최적화한다.
• 학습을 위한 SimCTG 목적 함수로 L_MLE와 L_CL를 결합한다.
• 토큰 표현 유사도에 기반한 열화 페널티와 모델 신뢰도를 균형 있게 고려하여 상위 k 후보에서 선택하는 contrastive decoding 규칙을 도출한다.
• 탐욕적, 빔 검색, 핵심 샘플링, 제안된 contrastive search를 포함한 디코딩 방법을 평가한다.
• 다중 언어와 다양한 모델 규모에 대해 개방형 문서 생성을 포함한 개방형 도메인 대화 생성을 적용한다.

실험 결과

연구 질문

• RQ1 contrastive 학습이 표준 MLE 학습에 비해 더 판별 가능하고 등방성 토큰 표현을 얻을 수 있는가?
• RQ2 제안된 contrastive search 디코딩이 접두사와의 의미적 정렬을 희생시키지 않으면서 응집도와 다양성을 개선할 수 있는가?
• RQ3 SimCTG가 작업(문서 생성, 대화)과 언어(영어, 중국어), 다양한 모델 규모에서 효과적인가?
• RQ4 대조 손실의 서로 다른 하이퍼파라미터(margin rho)와 디코더(k, alpha)의 설정이 성능에 어떤 영향을 미치는가?

주요 결과

• SimCTG는 Wikitext-103에서 베이스라인보다 더 나은 perplexity와 다음 토큰 정확도를 달성한다.
• contrastive search와 결합된 SimCTG가 반복 감소, 다양성 증가, 인간에 가까운 토큰 분포(MAUVE) 등 최고의 생성 품질을 보여준다.
• contrastive search가 인간 평가에서 응집도와 유창성을 개선하고, SimCTG를 사용할 때 특히 nucleus sampling보다 우수하다.
• 여러 데이터셋에서 contrastive search를 갖춘 SimCTG가 인간의 유창성과 응집성에 필적하거나 이를 능가하는 것으로 나타났으며, 대형 모델에서 특히 큰 이점을 보인다.
• 영어 및 중국어 대화 데이터셋 전반에 걸쳐 SimCTG + contrastive search가 일관되게 응집도, 유창성, 정보량을 베이스라인보다 향상시킨다.