[논문 리뷰] Energy-Based Models for Text

Anton Bakhtin, Yuntian Deng외 4명|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 에너지 기반 모델(EBM) 프레임워크를 통해 국소적으로 정규화된 판별기들을 자동회귀 언어 모델에 통합하여 텍스트 생성 품질을 향상시키는 방법을 제안한다. 실제 텍스트와 생성된 텍스트를 구분할 수 있는 통계적 판별기를 훈련시되, 훈련 데이터에 접근하지 못하더라도 모델의 품질을 향상시킬 수 있다. 이 방법은 난이도를 낮추고 인간 평가 점수를 향상시켜, EBMs가 판별적 피드백을 통해 생성 모델을 효과적으로 향상시킬 수 있음을 보여준다.

ABSTRACT

Current large-scale auto-regressive language models display impressive fluency and can generate convincing text. In this work we start by asking the question: Can the generations of these models be reliably distinguished from real text by statistical discriminators? We find experimentally that the answer is affirmative when we have access to the training data for the model, and guardedly affirmative even if we do not. This suggests that the auto-regressive models can be improved by incorporating the (globally normalized) discriminators into the generative process. We give a formalism for this using the Energy-Based Model framework, and show that it indeed improves the results of the generative models, measured both in terms of perplexity and in terms of human evaluation.

연구 동기 및 목표

• 자동회귀 언어 모델이 실제 텍스트와 신뢰성 있게 구분될 수 있는지 조사하기 위해.
• 훈련 데이터에 접근 여부와 관계없이 훈련된 판별기가 생성 모델의 품질을 향상시킬 수 있는지 탐색하기 위해.
• 에너지 기반 모델(EBMs)을 사용하여 판별기를 자동회귀 생성에 통합하는 공식적 프레임워크를 개발하기 위해.
• 자동 평가 지표(난이도)와 인간 평가를 통해 결과 모델의 향상 여부를 평가하기 위해.

제안 방법

• 판별기가 실제 텍스트와 생성된 텍스트를 구분하도록 훈련한 에너지 함수를 학습하여 텍스트 생성을 에너지 기반 모델로 공식화하기 위해.
• 전역적으로 정규화된 에너지 함수를 사용하여 시퀀스에 대한 유효한 확률 분포를 보장하기 위해.
• 실제 시퀀스의 에너지를 최소화하고 생성된 시퀀스의 에너지를 최대화하는 경량화를 통해 생성자를 훈련하기 위해.
• 점수 매칭 또는 대비 학습을 통해 판별기의 피드백을 생성 과정에 통합하기 위해.
• GPT 스타일 아키텍처와 같은 자동회귀 모델에 이 방법을 적용하고, 판별 신호를 통해 미세조정하기 위해.
• 훈련 데이터 접근과 0-샷 설정(훈련 데이터 없음)을 모두 사용하여 판별기를 훈련하기 위해.

실험 결과

연구 질문

• RQ1 모델의 훈련 데이터에 접근하지 못하더라도 통계적 판별기가 생성된 텍스트와 실제 텍스트를 신뢰성 있게 구분할 수 있는가?
• RQ2 전역적으로 정규화된 판별기를 자동회귀 생성에 효과적으로 통합하여 출력 품질을 향상시킬 수 있는가?
• RQ3 EBMs를 통한 판별 피드백 통합이 난이도를 낮추고 인간 평가 점수를 향상시키는가?
• RQ4 0-샷 및 소수의 샘플이 있는 설정에서 향상된 모델의 성능은 기준 자동회귀 모델과 비교해 어떻게 되는가?

주요 결과

• 판별기가 모델의 훈련 데이터를 기반으로 훈련된 경우, 생성된 텍스트와 실제 텍스트를 신뢰성 있게 구분할 수 있다.
• 훈련 데이터에 접근하지 못하더라도 판별기는 여전히 생성된 텍스트와 실제 텍스트를 구분할 수는 있으나, 성능은 제한적이다.
• EBM 프레임워크를 통해 판별기를 자동회귀 모델에 통합함으로써 난이도가 유의미하게 향상된다.
• 인간 평가 결과, 향상된 모델이 기준 자동회귀 모델보다 더 현실적이고 유창한 텍스트를 생성하는 것으로 확인되었다.
• 이 방법은 0-샷 및 소수의 샘플 설정 모두에서 향상된 성능을 달성하여, 제한된 데이터에 대해 강건함을 입증하였다.