[論文レビュー] Adversarial Generation of Natural Language

Sai Rajeswar, Sandeep Subramanian+3 more|arXiv (Cornell University)|May 31, 2017

Multimodal Machine Learning Applications参考文献 38被引用数 100

ひとこと要約

本論文は、識別器へ連続的な出力分布を入力するGANベースの自然言語生成アプローチを提案し、CFG/PCFGタスクおよび中国語詩において強い結果を達成する。WGAN/WGAN-GPや条件付き生成などのバリアントを含む。

ABSTRACT

Generative Adversarial Networks (GANs) have gathered a lot of attention from the computer vision community, yielding impressive results for image generation. Advances in the adversarial generation of natural language from noise however are not commensurate with the progress made in generating images, and still lag far behind likelihood based methods. In this paper, we take a step towards generating natural language with a GAN objective alone. We introduce a simple baseline that addresses the discrete output space problem without relying on gradient estimators and show that it is able to achieve state-of-the-art results on a Chinese poem generation dataset. We present quantitative results on generating sentences from context-free and probabilistic context-free grammars, and qualitative language modeling results. A conditional version is also described that can generate sequences conditioned on sentence characteristics.

研究の動機と目的

• 離散的出力の課題がある中でも、GANを用いた現実的な言語生成の学習を動機づける。
• 勾配推定器を回避するため、識別器が生成器からの連続的な出力分布上で動作するベースラインを提案する。
• 単語レベルおよび文字レベルのモデルで、文法制約付き（CFG/PCFG）データと実言語データセットの双方で評価する。
• 再帰型と畳み込み型のアーキテクチャの両方と、長い系列を生成するためのカリキュラム学習戦略を検討する。
• 感情や疑問形などの属性条件付けによる条件付きテキスト生成を実証する。

提案手法

• 語彙に対する確率分布の列を生成する生成器を備えたGANフレームワークを使用する。
• 識別器は、生成器からの確率列と実データをワンホットベクトルとして処理し、真偽を判定する。
• 生成器と識別器の双方に、再帰型（LSTM/peephole variants）または畳み込みアーキテクチャを採用する。
• トレーニングの安定性と勾配品質を向上させるため、Wasserstein GAN (WGAN) および WGAN-GP目的を適用する。
• 徐々に生成される系列長さを増やすカリキュラム学習を採用する。
• 属性条件付け（感情、疑問文）を生成器と識別器の双方に追加して条件付き生成を実証する。

実験結果

リサーチクエスチョン

• RQ1 識別器が離散サンプルではなく連続的な確率分布を見る場合、GANは自然言語を効果的に生成できるか。
• RQ2 異なるGAN目的（GAN、LSGAN、WGAN、WGAN-GP）は言語生成においてどのように比較されるか。
• RQ3 再帰的および畳み込みアーキテクチャは、GAN目的の下で妥当な長い系列を生成できるか。
• RQ4 感情や疑問形などの高レベル属性で条件付けされたテキストを生成できるか。

主な発見

• WGANおよびWGAN-GP目的は、言語生成に対して強い学習信号とより良い勾配挙動を提供する。
• 提案された連続識別器設定は、CFG/PCFGタスクおよび実データ言語データセットの両方で現実的な言語を生成する。
• WGAN-WGAN-GPバリアントは、いくつかの評価設定で単純な尤度に基づく（MLE）ベースラインを上回る。
• 本手法は、先行のGANベース手法と比較して、中国詩生成で競争力のあるまたは優れた結果を達成する。
• 条件付き生成は、感情や疑問形などのターゲット属性を持つ文をうまく生成する。
• 勾配ペナルティ付きGAN目的を用いた畳み込みアーキテクチャは、長い系列にわたって文脈を効果的に維持する。）