[論文レビュー] MaskGAN: Better Text Generation via Filling in the______

William Fedus, Ian Goodfellow+1 more|arXiv (Cornell University)|Jan 23, 2018

Topic Modeling参考文献 6被引用数 256

ひとこと要約

MaskGAN は、文脈を条件とした欠失テキストを埋める Actor-Critic 条件付き GAN を導入し、PTB および IMDB データセットで標準的な ML 訓練ベースラインよりサンプル品質を向上させる。

ABSTRACT

Neural text generation models are often autoregressive language models or seq2seq models. These models generate text by sampling words sequentially, with each word conditioned on the previous word, and are state-of-the-art for several machine translation and summarization benchmarks. These benchmarks are often defined by validation perplexity even though this is not a direct measure of the quality of the generated text. Additionally, these models are typically trained via maxi- mum likelihood and teacher forcing. These methods are well-suited to optimizing perplexity but can result in poor sample quality since generating text requires conditioning on sequences of words that may have never been observed at training time. We propose to improve sample quality using Generative Adversarial Networks (GANs), which explicitly train the generator to produce high quality samples and have shown a lot of success in image generation. GANs were originally designed to output differentiable values, so discrete language generation is challenging for them. We claim that validation perplexity alone is not indicative of the quality of text generated by a model. We introduce an actor-critic conditional GAN that fills in missing text conditioned on the surrounding context. We show qualitatively and quantitatively, evidence that this produces more realistic conditional and unconditional text samples compared to a maximum likelihood trained model.

研究の動機と目的

• 自動回帰および seq2seq テキスト生成器の検証 perplexity を超えてサンプル品質を改善する動機。
• 周囲の文脈を条件として欠落トークンを埋めるテキストインフィリング課題を提案する。
• 判別器に導かれた Actor-Critic フレームワークを用いた強化学習でジェネレータを訓練する。
• インフィリング設定とクリティックの支援によって、テキスト GAN に common な訓練の不安定性とモード崩壊を緩和する。

提案手法

• 過去および未来の文脈を条件としてマスクされたトークンを埋める seq2seq ジェネレータを使用する。
• 元の文脈を与えられた各埋め込みトークンを評価してトークンレベルの報酬を提供する判別器を訓練する。
• 勾配分散を抑える基準を提供するクリティックを用いた Actor-Critic 強化学習目的を採用する。
• 報酬を判別器の対数確率として定義し、ポリシー勾配で最適化する。
• インフィリング課題での敵対的微調整の前に、最大尤度言語モデルで予訓練する。
• 長い系列や大規模語彙に対してカリキュラム的調整を任意で用いる。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルの判別器を備えたテキスト・インフィリング課題は、従来の ML 訓練モデルよりも高いサンプル品質を提供できるか？
• RQ2 Actor-Critic 訓練設定は勾配分散を減らし、GAN ベースのテキスト生成を安定化するか？
• RQ3 PTB および IMDB における条件付きおよび条件なしテキスト生成で、MaskMLE と比較して MaskGAN はどう機能するか？
• RQ4 人間評価の証拠は、生成テキストのリアリズムの改善をどのように支持するか？
• RQ5 BLEU に触発された指標と n-gram 多様性指標は、MaskGAN におけるモードカバレッジとサンプル品質をどのように反映するか？

主な発見

• 質的評価および一部定量的指標に基づくと、MaskGAN は最大尤度訓練モデルよりも条件付きおよび条件なしのテキストサンプルをより現実的に生成する。
• パープレキシティベースの指標はサンプル品質と必ずしも一致しない；いくつかの設定では MaskGAN が基準より低いパープレキシティを示す。
• IMDB データセットで、文法性・トピック性・総合品質の点で人間評価は MaskGAN サンプルを MaskMLE より評価している。
• MaskGAN は一部モード崩壊を示し、固有の quadgrams の減少で示唆されるが、全体として生成サンプルはモデル間で多様性を保つ。
• 事前訓練とクリティックの導入は、勾配分散を大幅に減らし訓練の安定性を向上させる。