[论文解读] Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

Yuxuan Song, Ning Miao+4 more|arXiv (Cornell University)|Jul 12, 2020

Topic Modeling被引用 4

一句话总结

该论文提出 $ψ$-MLE，一种用于自回归文本生成模型的新训练方案，通过使用模型生成样本进行自增强并利用密度比估计校正偏差，改进了最大似然估计（MLE）。该方法在生成质量和多样性方面均表现优越，在合成数据和真实世界文本生成任务中均优于 MLE 和最先进的基于 GAN 的方法。

ABSTRACT

Auto-regressive sequence generative models trained by Maximum Likelihood Estimation suffer the exposure bias problem in practical finite sample scenarios. The crux is that the number of training samples for Maximum Likelihood Estimation is usually limited and the input data distributions are different at training and inference stages. Many method shave been proposed to solve the above problem (Yu et al., 2017; Lu et al., 2018), which relies on sampling from the non-stationary model distribution and suffers from high variance or biased estimations. In this paper, we proposeψ-MLE, a new training scheme for auto-regressive sequence generative models, which is effective and stable when operating at large sample space encountered in text generation. We derive our algorithm from a new perspective of self-augmentation and introduce bias correction with density ratio estimation. Extensive experimental results on synthetic data and real-world text generation tasks demonstrate that our method stably outperforms Maximum Likelihood Estimation and other state-of-the-art sequence generative models in terms of both quality and diversity.

研究动机与目标

• 解决在有限训练数据下自回归文本生成中的暴露偏差和过拟合问题。
• 改善在高维离散序列空间中最大似然估计（MLE）的稳定性和性能。
• 开发一种利用模型生成样本进行数据增强的训练方案，同时校正分布偏差。
• 在生成质量与多样性之间实现优于 MLE 和现有基于 GAN 方法的更好权衡。
• 提供一个统一框架，通过基于 Bregman 散度的目标泛化 MLE 和策略梯度 GAN。

提出的方法

• 提出 $\psi$-MLE，一种结合 MLE 与使用模型自身分布生成样本的自增强的训练目标。
• 引入一种渐进式密度比估计器 $r_\psi$，以校正训练期间从非平稳模型分布采样带来的偏差。
• 通过最小化 Bregman 散度来学习密度比估计器，实现对生成样本的稳定且准确的重要性加权。
• 采用真实训练数据与模型生成序列的混合作为训练分布，其重要性权重由密度比估计器得出。
• 推导出一个广义目标族，其中 MLE 和策略梯度 GAN 均为特例，而 $\psi$-MLE 是更稳定且更有效的变体。
• 在合成和真实世界文本生成任务中应用该方法，使用标准指标如 NLL 和多样性得分。

实验结果

研究问题

• RQ1 使用模型生成样本进行自增强是否能提升 MLE 在文本生成中的泛化能力？
• RQ2 在训练过程中，如何有效校正从非平稳模型分布采样带来的偏差？
• RQ3 引入密度比估计是否能带来比标准 MLE 或基于 GAN 方法更稳定、更有效的训练？
• RQ4 $\psi$-MLE 是否能在质量与多样性之间实现优于 MLE 和最先进的基于 GAN 模型的更好权衡？
• RQ5 不同基于 Bregman 散度的目标对训练稳定性和性能有何影响？

主要发现

• $\psi$-MLE 在合成和真实世界文本生成任务中始终优于原始 MLE，测试 NLL 更低，样本多样性更高。
• 在合成的 oracle 数据集上，$\psi$-MLE 在混合权重 $m=3/4$ 时达到 7.54 的测试 NLL，显著优于 MLE 的 8.01。
• 当 $f(t) = \ln(1+e^t)$ 和 $f(t) = t\log t - (1+t)\log(1+t)$ 时，$\psi$-MLE 展现出稳定的训练过程，并优于 MLE 和 GAN 基线。
• 消融实验表明，密度比校正步骤至关重要，若移除该步骤则性能下降。
• 该方法在质量与多样性权衡方面优于 MLE 和策略梯度 GAN，经多种指标和数据集验证。
• 实证结果表明，使用混合训练数据的 $\psi$-MLE 表现优于仅使用真实数据的原始 MLE。