[논문 리뷰] Residual Energy-Based Models for Text Generation

Yuntian Deng, Anton Bakhtin외 3명|arXiv (Cornell University)|2020. 04. 22.

Topic Modeling참고 문헌 33인용 수 15

한 줄 요약

이 논문은 사전에 훈련된 순차적 생성 언어 모델의 잔차 공간에서 시퀀스에 대한 에너지 함수를 학습하여 텍스트 생성을 위한 잔차 기반 에너지 모델(EBM)을 제안한다. 노이즈 대비 추정(NCE)과 중요도 샘플링을 활용해, 강력한 순차적 생성 기반 모델보다 낮은 퍼플렉서티와 더 높은 품질의 생성 결과를 달성하며, 인간 평가에서도 그 결과가 유리하게 평가된다.

ABSTRACT

Text generation is ubiquitous in many NLP tasks, from summarization, to dialogue and machine translation. The dominant parametric approach is based on locally normalized models which predict one word at a time. While these work remarkably well, they are plagued by exposure bias due to the greedy nature of the generation process. In this work, we investigate un-normalized energy-based models (EBMs) which operate not at the token but at the sequence level. In order to make training tractable, we first work in the residual of a pretrained locally normalized language model and second we train using noise contrastive estimation. Furthermore, since the EBM works at the sequence level, we can leverage pretrained bi-directional contextual representations, such as BERT and RoBERTa. Our experiments on two large language modeling datasets show that residual EBMs yield lower perplexity compared to locally normalized baselines. Moreover, generation via importance sampling is very efficient and of higher quality than the baseline models according to human evaluation.

연구 동기 및 목표

• 순차적 텍스트 생성에서 노출 편향과 장거리 일관성 부족 문제를 해결하기 위해 시퀀스를 토큰 단위가 아닌 종합적으로 모델링함으로써.
• 일반적으로 정규화 및 샘플링 과제로 인해 비가역적인 자연어를 위한 비정규화 에너지 기반 모델(EBM)의 훈련 가능하고 효율적인 생성을 가능하게 하기 위해.
• 사전에 훈련된 순차적 생성 모델의 장점을 활용하고 EBMs의 전반적 시퀀스 점수 기능을 잔차 형식으로 통합하여 텍스트 생성 품질을 향상시키기 위해.
• EBM 기반 텍스트 생성이 퍼플렉서티와 인간 평가 모두에서 강력한 순차적 생성 기반 모델을 능가할 수 있음을 보여주기 위해.

제안 방법

• 모델는 잔차 형식을 사용한다: $ P_{\theta}(x) \propto P_{LM}(x) \exp(-E_{\theta}(x)) $, 여기서 $ P_{LM}(x) $ 는 고정된 사전에 훈련된 순차적 언어 모델이고 $ E_{\theta}(x) $ 는 학습 가능한 에너지 함수이다.
• 훈련은 조건부 노이즈 대비 추정(NCE)을 사용하며, 실제 훈련 시퀀스를 양성으로, 기반 언어 모델에서 생성된 샘플을 음성으로 사용한다.
• 생성은 기반 언어 모델에서 생성된 큰 수의 후보 시퀀스에 대해 중요도 샘플링을 수행함으로써 효율적이고 고품질의 샘플링을 가능하게 한다.
• 에너지 함수에 이중 방향 컨텍스트 표현(예: BERT, RoBERTa)을 활용하여 시퀀스 수준의 모델링을 향상시킨다.
• 퍼플렉서티는 통합 모델을 사용하여 추정하여 순차적 기반 모델과 직접 비교할 수 있도록 한다.
• 이 방법은 이중 방향 트랜스포머(BERT 등)를 잔차 에너지 함수를 학습시켜 텍스트 생성에 맞게 미세조정하는 방식으로 해석될 수 있다.

실험 결과

연구 질문

• RQ1 직접적인 최대우도 추정 및 MCMC 샘플링이 불가능한 상황에서 에너지 기반 모델을 효과적으로 훈련하고 텍스트 생성에 활용할 수 있는가?
• RQ2 사전에 훈련된 언어 모델의 잔차 공간에서 전반적 시퀀스 수준의 에너지 함수를 학습시키면 생성 품질 향상과 퍼플렉서티 감소에 기여하는가?
• RQ3 기반 모델의 생성 결과로부터 큰 수의 후보를 대상으로 중요도 샘플링을 수행하면, 순차적 모델의 그리디 또는 빔 서치보다 더 높은 품질의 출력을 얻을 수 있는가?
• RQ4 기반 언어 모델에 비해 통합 EBM 모델이 진짜 데이터 분포에 얼마나 잘 맞는가?

주요 결과

• 잔차 EBM는 두 개의 대규모 언어 모델링 데이터셋에서 기반 순차적 언어 모델보다 낮은 퍼플렉서티를 달성한다.
• 실제 데이터와 모델 샘플 간 평균 로그우도 점수의 차이가 기반 모델의 21.64에서 통합 모델의 6.20으로 감소하여 데이터 분포에 더 잘 맞는다는 것을 시사한다.
• 인간 평가 결과, 잔차 EBM에서 생성된 결과가 기반 언어 모델의 결과보다 유의미하게 선호됨을 확인하였다.
• 훈련 및 추론 모두 높은 효율성을 유지하며, 사전에 생성된 음성 샘플과 중요도 샘플링에 의존한다.
• 에너지 함수는 기반 모델이 생성한 저품질 출력을 효과적으로 낮추어 전체 출력 품질을 향상시켰다.
• EBM 기반 텍스트 생성이 자동 평가 및 인간 평가 지표 모두에서 강력한 순차적 기반 모델을 능가할 수 있음을 입증하였다.