[論文レビュー] Maximum-Likelihood Augmented Discrete Generative Adversarial Networks

Tong Che, Yanran Li+5 more|arXiv (Cornell University)|Feb 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 175

ひとこと要約

MaliGAN は、離散シーケンス上での GAN の訓練に対して分散削減された最大似然推定を拡張した目的を提案し、テキストや他の離散データ生成タスクにおける安定性と性能を向上させます。

ABSTRACT

Despite the successes in capturing continuous distributions, the application of generative adversarial networks (GANs) to discrete settings, like natural language tasks, is rather restricted. The fundamental reason is the difficulty of back-propagation through discrete random variables combined with the inherent instability of the GAN training objective. To address these problems, we propose Maximum-Likelihood Augmented Discrete Generative Adversarial Networks. Instead of directly optimizing the GAN objective, we derive a novel and low-variance objective using the discriminator's output that follows corresponds to the log-likelihood. Compared with the original, the new objective is proved to be consistent in theory and beneficial in practice. The experimental results on various discrete datasets demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 自己回帰的な離散生成モデルにおける露出バイアスと訓練の不安定さに対処する。
• 分散の小さい識別器の出力を活用する最大似然推定拡張目的を導入する。
• 固定ターゲット分布と重要度サンプリングを用いて、離散データの GAN の訓練を安定化する。
• 離散 MNIST、詩の生成、文レベルの言語モデリングで性能の改善を実証する。

提案手法

• 安定化の参照として遅延生成器 p' を用い、固定増強ターゲット分布 q(x) = (D(x)/(1-D(x))) p'(x) を定義する。
• KL(q(x) || p_theta(x)) を、重要度サンプリング勾配 ∇ L_G(theta) ≈ E_p'[ (r_D(x)/Z) ∇_theta log p_theta(x) ], で最適化する。ここで r_D(x) = D(x)/(1-D(x)。
• 勾配推定量の分散を抑えるためにベースライン b を用い、ミニバッチ内で重みを正規化する。
• 長いシーケンスのさまざまなステップを重み付けするために、モンテカルロ木検索などの分散削減技術を取り入れる。
• 長いシーケンスに対して、監視付き尤度と MaliGAN 目的を組み合わせる混合 MLE-Mali 訓練を適用する。

実験結果

リサーチクエスチョン

• RQ1 識別器の出力に基づく最大似然ベースの目的が、離散シーケンスGANの訓練を安定化できるか？
• RQ2 識別器が最適またはほぼ最適である場合、MaliGAN 目的にはどのような理論的保証が存在するか？
• RQ3 分散削減技術（例：MCTS、混合 MLE-Mali 訓練）は、離散シーケンス生成の安定性と性能を向上させるか？
• RQ4 離散 MNIST、詩の生成、文レベルの言語モデリングにおける MaliGAN の性能は、MLE および SeqGAN と比較してどうか？
• RQ5 提案手法は実践的に露出バイアスと損失評価ミスマッチを緩和するか？

主な発見

• MaliGAN は、固定ターゲット分布を用いて KL(q||p_theta) を近似する理論的に妥当な目的を生み出し、安定性を向上させる。
• r_D(x) を用いた重要度サンプリングに基づく勾配推定量は、D からの直接的な RL 報酬や log D より分散が小さいことを示す。
• 分散削減を伴う MaliGAN は安定した訓練と、離散 MNIST、詩の生成、Penn Treebank の perplexity タスクにおける定性的および定量的な優れた結果を達成する。
• 混合 MLE-Mali 訓練を伴う逐次 MaliGAN は、分散をさらに低減し、長いシーケンスの安定性を高める。
• 詩の生成で perplexity の低下と BLEU-2 の向上を示し、PTB における文レベル perplexities も MLE および SeqGAN と比較して低い。