[論文レビュー] Language GANs Falling Short

M. Caccia, Lucas Caccia+4 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 38被引用数 81

ひとこと要約

この論文は、よく調整された最尤言語モデルがGANベースのテキスト生成を品質と多様性の両方で上回ることを示しており、温度スイープ評価フレームワークを用いている。

ABSTRACT

Generating high-quality text with sufficient diversity is essential for a wide range of Natural Language Generation (NLG) tasks. Maximum-Likelihood (MLE) models trained with teacher forcing have consistently been reported as weak baselines, where poor performance is attributed to exposure bias (Bengio et al., 2015; Ranzato et al., 2015); at inference time, the model is fed its own prediction instead of a ground-truth token, which can lead to accumulating errors and poor samples. This line of reasoning has led to an outbreak of adversarial based approaches for NLG, on the account that GANs do not suffer from exposure bias. In this work, we make several surprising observations which contradict common beliefs. First, we revisit the canonical evaluation framework for NLG, and point out fundamental flaws with quality-only evaluation: we show that one can outperform such metrics using a simple, well-known temperature parameter to artificially reduce the entropy of the model's conditional distributions. Second, we leverage the control over the quality / diversity trade-off given by this parameter to evaluate models over the whole quality-diversity spectrum and find MLE models constantly outperform the proposed GAN variants over the whole quality-diversity space. Our results have several implications: 1) The impact of exposure bias on sample quality is less severe than previously thought, 2) temperature tuning provides a better quality / diversity trade-off than adversarial training while being easier to train, easier to cross-validate, and less computationally expensive. Code to reproduce the experiments is available at github.com/pclucas14/GansFallingShort

研究の動機と目的

• GANベースのテキスト生成が品質と多様性の両方でMLEベースラインを上回るかを調査する。
• 露出バイアスと非微分可能なGANトレーニングがサンプル品質と多様性に与える影響を評価する。
• 品質-多様性スペクトル全体でNLGモデルを比較するための頑健で低バイアスの評価フレームワークを提案する。
• 温度制御サンプリングおよびその他のデコード戦略を用いてトレードオフを定量化する。）

提案手法

• 自己回帰生成におけるエントロピーを制御するボルツマン温度パラメータを定義する。
• モデル間で品質-多様性のトレードオフをマッピングするために温度スイープを導入する。
• 温度スイープの下で、さまざまなGAN派生（RLおよび非RL）と自己回帰MLEベースラインを比較する。
• 局所指標（例：BLEU、Self-BLEU）とグローバル指標（Language Modelスコア、Reverse LMスコア）の両方を用いて評価する。
• デコード戦略（温度調整、確率的ビーム探索、ジェネレータ拒否）の品質対多様性への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 温度制御サンプリングは、NLGモデル間の品質と多様性の公正でバイアスの少ない比較を提供するか？
• RQ2 MLEモデルは品質-多様性空間全体でGANベースのテキスト生成器を上回るか？
• RQ3 デコード戦略は、さまざまなモデルの認識される品質-多様性トレードオフにどのように影響するか？
• RQ4 露出バイアスはテキスト生成の主なボトルネックか、それともGANの最適化/トレーニングの課題が支配的か？
• RQ5 NLGモデルの評価/探査技術の実際的なコストとバイアスは何か？

主な発見

Model	NLL oracle
SeqGAN (Yu et al., 2017)	8.74
RankGAN (Lin et al., 2017)	8.25
LeakGAN (Guo et al., 2017)	7.04
IRL (Shi et al., 2018)	6.91
MLE (α=1.0)	9.40
MLE (α=0.4)	5.50
MLE (α=0.001)	4.58

• 温度スイープの下で、MLEモデルは品質-多様性空間全体を通じてGAN派生より一貫して優れている。
• 温度を下げると品質が向上するが多様性が低下する。高温は多様性を高めるが、制御可能な方法で品質を損なうことがある。
• GANトレーニングは生成器分布のエントロピーを低下させ、多様性の低下とトレードオフの悪化に寄与する。
• 確率的ビーム探索やジェネレータ拒否のようなデコード手法にはバイアスと計算コストがあり、有効性を制限する。温度スイープは効率的で偏りのない評価を提供する。
• 温度調整だけで性能差を十分に明らかにすることが多く、MLEは合理的な計算資源で最良の品質-多様性のバランスを提供する。