[논문 리뷰] Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

Yuxuan Song, Ning Miao외 4명|arXiv (Cornell University)|2020. 07. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자기준화(self-augmentation)와 확률 밀도 비율 추정을 통해 최대우도추정(MLE)의 편향을 보정함으로써 자동회귀적 텍스트 생성 모델의 훈련을 향상시키는 새로운 훈련 방법인 $\psi$-MLE를 제안한다. 이 방법은 생성 품질과 다양성 측면에서 MLE 및 최신 기술의 GAN 기반 접근법을 초월하는 성능을 달성한다. 합성 및 실제 텍스트 생성 작업 전반에서 뛰어난 성능을 보인다.

ABSTRACT

Auto-regressive sequence generative models trained by Maximum Likelihood Estimation suffer the exposure bias problem in practical finite sample scenarios. The crux is that the number of training samples for Maximum Likelihood Estimation is usually limited and the input data distributions are different at training and inference stages. Many method shave been proposed to solve the above problem (Yu et al., 2017; Lu et al., 2018), which relies on sampling from the non-stationary model distribution and suffers from high variance or biased estimations. In this paper, we proposeψ-MLE, a new training scheme for auto-regressive sequence generative models, which is effective and stable when operating at large sample space encountered in text generation. We derive our algorithm from a new perspective of self-augmentation and introduce bias correction with density ratio estimation. Extensive experimental results on synthetic data and real-world text generation tasks demonstrate that our method stably outperforms Maximum Likelihood Estimation and other state-of-the-art sequence generative models in terms of both quality and diversity.

연구 동기 및 목표

• 유한한 훈련 데이터에서 자동회귀적 텍스트 생성의 노출 편향과 과적합 문제를 해결하기 위해.
• 고차원 이산 시퀀스 공간에서 최대우도추정(MLE)의 안정성과 성능을 향상시키기 위해.
• 모델이 생성한 샘플을 활용한 데이터 증강을 하면서도 분포 편향을 보정하는 훈련 체계를 개발하기 위해.
• MLE 및 기존 GAN 기반 방법보다 더 나은 생성 품질과 다양성의 상호보완적 균형을 달성하기 위해.
• Bregman 발산 기반 목적함수를 통해 MLE와 정책기반 GAN을 일반화하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 모델의 자체 분포에서 유도된 샘플을 사용한 자기준화와 MLE를 조합한 $\psi$-MLE 훈련 목적함수를 제안한다.
• 훈련 중 비정적 모델 분포에서 샘플링으로 인한 편향을 보정하기 위해 점진적인 밀도 비율 추정기 $r_\psi$를 도입한다.
• 밀도 비율 추정기를 학습하기 위해 Bregman 발산 최소화를 활용하여 생성 샘플의 중요도 가중치를 안정적이고 정확하게 추정한다.
• 실제 훈련 데이터와 모델이 생성한 시퀀스의 혼합을 훈련 분포로 사용하며, 중요도 가중치는 밀도 비율 추정기에서 유도한다.
• MLE와 정책기반 GAN을 특수한 경우로 포함하는 일반화된 목적함수 가족을 유도하며, $\psi$-MLE는 더 안정적이고 효과적인 변종이다.
• 표준 메트릭(예: NLL 및 다양성 점수)을 사용하여 합성 및 실제 텍스트 생성 작업 전반에 걸쳐 방법을 적용한다.

실험 결과

연구 질문

• RQ1 모델이 생성한 샘플을 활용한 자기준화가 텍스트 생성에서 MLE의 일반화 성능을 향상시킬 수 있는가?
• RQ2 비정적 모델 분포에서 샘플링으로 인한 편향을 훈련 중에 효과적으로 보정할 수 있는가?
• RQ3 밀도 비율 추정을 통합하면 표준 MLE나 GAN 기반 방법보다 더 안정적이고 효과적인 훈련이 가능한가?
• RQ4 $\psi$-MLE가 MLE 및 최신 기술의 GAN 기반 모델보다 더 나은 품질-다양성 균형을 달성할 수 있는가?
• RQ5 다양한 Bregman 발산 기반 목적함수의 영향은 훈련의 안정성과 성능에 어떤가?

주요 결과

• $\psi$-MLE는 합성 및 실제 텍스트 생성 작업 전반에서 바닐라 MLE를 일관되게 능가하며, 테스트 NLL가 낮고 샘플의 다양성이 향상된다.
• 합성 오라클 데이터셋에서 $\psi$-MLE는 혼합 가중치 $m=3/4$일 때 테스트 NLL 7.54를 기록하여 MLE의 8.01보다 뚜렷이 뛰어나다.
• $f(t) = \ln(1+e^t)$ 및 $f(t) = t\log t - (1+t)\log(1+t)$를 사용할 경우, $\psi$-MLE는 MLE 및 GAN 기반 베이스라인보다 안정적인 훈련과 더 나은 성능을 보인다.
• 제거 실험 결과, 밀도 비율 보정 단계가 필수적임을 확인하였으며, 이를 생략하면 성능 저하가 발생한다.
• 여러 메트릭과 데이터셋을 통해 $\psi$-MLE는 MLE 및 정책기반 GAN보다 더 나은 품질-다양성 균형을 달성함을 검증하였다.
• 실험 결과, $\psi$-MLE는 실재 데이터만을 사용하는 바닐라 MLE보다 혼합 훈련 데이터를 활용할 경우 더 뛰어난 성능을 보였다.