[論文レビュー] Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

Yuxuan Song, Ning Miao+4 more|arXiv (Cornell University)|Jul 12, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己増強と密度比推定によるバイアス補正を用いることで、最大尤度推定（MLE）を改善する新しい訓練手法である$\psi$-MLEを提案する。この手法は、合成および実世界のテキスト生成タスクにおいて、MLEおよび最先端のGANベース手法を上回る生成品質と多様性を達成する。

ABSTRACT

Auto-regressive sequence generative models trained by Maximum Likelihood Estimation suffer the exposure bias problem in practical finite sample scenarios. The crux is that the number of training samples for Maximum Likelihood Estimation is usually limited and the input data distributions are different at training and inference stages. Many method shave been proposed to solve the above problem (Yu et al., 2017; Lu et al., 2018), which relies on sampling from the non-stationary model distribution and suffers from high variance or biased estimations. In this paper, we proposeψ-MLE, a new training scheme for auto-regressive sequence generative models, which is effective and stable when operating at large sample space encountered in text generation. We derive our algorithm from a new perspective of self-augmentation and introduce bias correction with density ratio estimation. Extensive experimental results on synthetic data and real-world text generation tasks demonstrate that our method stably outperforms Maximum Likelihood Estimation and other state-of-the-art sequence generative models in terms of both quality and diversity.

研究の動機と目的

• 有限な訓練データ下での自己回帰的テキスト生成における露顯バイアスと過学習の問題に対処すること。
• 高次元で離散的な系列空間における最大尤度推定（MLE）の安定性と性能を向上させること。
• モデルが生成したサンプルを活用したデータ増強を実現するとともに、分布バイアスを是正する訓練スキームの開発。
• MLEおよび既存のGANベース手法よりも優れた生成品質と多様性のトレードオフを達成すること。
• MLEとポリシー勾配GANを統一的に一般化するBregman損失に基づく目的関数を提供すること。

提案手法

• モデル自身の分布からのサンプルを用いた自己増強とMLEを組み合わせた訓練目的である$\psi$-MLEを提案する。
• 訓練中に非定常なモデル分布からのサンプリングに起因するバイアスを是正するための段階的密度比推定器$r_\psi$を導入する。
• 密度比推定器の学習にBregman損失の最小化を用い、生成サンプルの重要度重み付けを安定的かつ正確に実現する。
• 実際の訓練データとモデルが生成した系列の混合分布を訓練分布とし、密度比推定器から得られる重要度重みを適用する。
• MLEとポリシー勾配GANを特別なケースとして含む一般化された目的関数族を導出する。$\psi$-MLEは、より安定的で効果的な変種である。
• 標準的な指標（NLLや多様性スコアなど）を用いて、合成および実世界のテキスト生成タスクに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルが生成したサンプルを用いた自己増強は、テキスト生成におけるMLEの一般化性能を向上させ得るか？
• RQ2 非定常なモデル分布からのサンプリングに起因するバイアスを、訓練中に効果的に是正できるか？
• RQ3 密度比推定を組み込むことで、標準的なMLEやGANベース手法よりも安定的かつ効果的な訓練が可能になるか？
• RQ4 $\psi$-MLEは、MLEおよび最先端のGANベースモデルよりも優れた品質・多様性のトレードオフを達成できるか？
• RQ5 異なるBregman損失に基づく目的関数は、訓練の安定性と性能にどのような影響を与えるか？

主な発見

• $\psi$-MLEは、合成および実世界のテキスト生成タスクにおいて、常にアンサンブルMLEを上回り、テストNLLが低く、サンプルの多様性が向上している。
• オラクル合成データセットでは、$\psi$-MLEは混合重み$m=3/4$でテストNLLが7.54を達成し、MLEの8.01を顕著に上回っている。
• $f(t) = \ln(1+e^t)$および$f(t) = t\log t - (1+t)\log(1+t)$を用いる場合、$\psi$-MLEは安定した訓練とMLEおよびGANベースラインを上回る性能を示している。
• アブレーションスタディにより、密度比補正ステップが不可欠であることが確認され、これを省くと性能が低下する。
• 複数の指標およびデータセットを用いた検証により、$\psi$-MLEはMLEおよびポリシー勾配GANよりも優れた品質・多様性のトレードオフを達成している。
• 実験的結果から、$\psi$-MLEは混合訓練データを用いることで、実データのみを用いる通常のMLEを上回る性能を示していることが分かった。