[論文レビュー] Adversarial Feature Matching for Text Generation

Yizhe Zhang, Zhe Gan+5 more|arXiv (Cornell University)|Jun 12, 2017

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 124

ひとこと要約

TextGAN は LSTM ジェネレータと CNN ディスクリミネータを用い、カーネルベースの MMD フィーチャー・マッチング目的で現実的な文を生成し、テキストデータの GAN のモード崩壊を緩和する。

ABSTRACT

The Generative Adversarial Network (GAN) has achieved great success in generating realistic (real-valued) synthetic data. However, convergence issues and difficulties dealing with discrete data hinder the applicability of GAN to text. We propose a framework for generating realistic text via adversarial training. We employ a long short-term memory network as generator, and a convolutional network as discriminator. Instead of using the standard objective of GAN, we propose matching the high-dimensional latent feature distributions of real and synthetic sentences, via a kernelized discrepancy metric. This eases adversarial training by alleviating the mode-collapsing problem. Our experiments show superior performance in quantitative evaluation, and demonstrate that our model can generate realistic-looking sentences.

研究の動機と目的

• GAN を離散的なテキストデータへ適用する難しさと系列モデルにおける露出バイアスに動機づけられる。
• 潜在空間で実データと合成文の特徴を揃えることで、整合性のある多様な文を生成することを目指す。
• 訓練を安定化し出力の多様性を促進するカーネルベースのモーメントマッチング目的を提案する。
• 生成過程の情報を保持するための潜在コードの再構成を組み込む。

提案手法

• 潜在コード z を合成文へ写像するジェネレータとして LSTM を用いる。
• 文特徴を生成し真偽の予測を行う CNN ディスクリミネータを用いる。
• 実データと合成文の特徴分布を RKHS 上でガウシアンカーネルを用いて整合させる特徴マッチング損失 L_MMD^2 を導入する。
• 生成文から潜在コードの回復を奨励する再構成損失 L_recon を追加する。
• 訓練を正則化するため、生成対立損失と L_recon および L_MMD^2 をディスクリミネータ目的に組み合わせる。
• 訓練を安定化させるためのソフトアークマックス近似と離散テキスト出力を扱う事前訓練戦略を使用する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの特徴マッチングを用いた対立訓練は、従来の GAN よりテキストの現実的な文を生成する効果が高いか。
• RQ2 潜在特徴分布を MMD で整合させることはモード崩壊を緩和し、生成文の多様性を改善するか。
• RQ3 再構成と特徴マッチング項は訓練の安定性と生成文の質にどのような影響を与えるか。
• RQ4 埋め込みとカーネルの選択は生成テキストの質と多様性にどのような影響を与えるか。

主な発見

• MMD ベースの特徴マッチングを用いた TextGAN は BLEU スコアと KDE が複数のベースラインより高く、文の質と多様性が改善されることを示す。
• MMD および MMD-L 変種は一般に BLEU および KDE のスコアが高く、特に BLEU-2 で MMD-L が強力。
• モデルは合成文の特徴が 900 次元空間で実際の文の特徴分布を覆い、整合させることを示す。
• 事前訓練と安定化技術（ソフトアークマックス、順序反転ディスクリミネータの事前訓練）が訓練の安定性に寄与する。
• AE、VAE、seqGAN、および従来の TextGAN バリアントと比較して、TextGAN バリアントが評価コーパス上でより良い定量指標を達成する。