[論文レビュー] Long Text Generation via Adversarial Training with Leaked Information

Jiaxian Guo, Sidi Lu+4 more|arXiv (Cornell University)|Sep 24, 2017

Topic Modeling参考文献 28被引用数 161

ひとこと要約

LeakGANは漏洩した識別器特徴を活用して長文生成をガイドする階層的生成器を導入し、合成データと実データのBLEUスコアと人間評価の両方を改善します。

ABSTRACT

Automatically generating coherent and semantically meaningful text has many applications in machine translation, dialogue systems, image captioning, etc. Recently, by combining with policy gradient, Generative Adversarial Nets (GAN) that use a discriminative model to guide the training of the generative model as a reinforcement learning policy has shown promising results in text generation. However, the scalar guiding signal is only available after the entire text has been generated and lacks intermediate information about text structure during the generative process. As such, it limits its success when the length of the generated text samples is long (more than 20 words). In this paper, we propose a new framework, called LeakGAN, to address the problem for long text generation. We allow the discriminative net to leak its own high-level extracted features to the generative net to further help the guidance. The generator incorporates such informative signals into all generation steps through an additional Manager module, which takes the extracted features of current generated words and outputs a latent vector to guide the Worker module for next-word generation. Our extensive experiments on synthetic data and various real-world tasks with Turing test demonstrate that LeakGAN is highly effective in long text generation and also improves the performance in short text generation scenarios. More importantly, without any supervision, LeakGAN would be able to implicitly learn sentence structures only through the interaction between Manager and Worker.

研究の動機と目的

• GANの下での長文生成の難しさに対処するため、生成時に有益で段階的なガイダンスを提供する。
• 識別器の内部特徴を漏洩情報として活用し、生成器を導く。
• 漏洩特徴を効果的に活用する階層的生成器（MANAGERとWORKER）を導入する。
• 監督なしで学習される文構造の洞察を分析しつつ、合成データと実世界のコーパスでの改善を示す。

提案手法

• Discriminator DφはCNNベースの特徴抽出器から高レベルの特徴fを提供する。
• MANAGER（LSTM）とWORKER（LSTM）を持つ階層的生成器 Gθ は漏洩特徴 ft を用いて goal gt と goal embedding wt を生成する。
• WORKERは現在の語彙 xt と目標埋め込み wt を用いて logits Ot · wt / α のソフトマックスを介して次の語を生成する。
• TRAININGはWORKERを最適化するためにREINFORCEを使用する。MANAGERは識別器特徴空間における有利な方向を予測するように訓練される（cosine similarity with ft+c − ft）。
• Pre-trainingはMANAGERとWORKERの双方に対する監督付き段階を含み、その後GとD間で対立的訓練を交互に行う。追加の技術にはbootstrapped rescaled activation、interleaved training、温度制御が含まれる。

実験結果

リサーチクエスチョン

• RQ1 漏洩した高レベルの識別器特徴はGAN設定における長文生成のガイダンスを改善できるか。
• RQ2 階層的（マネージャー＝ワーカー）生成器は漏洒情報をより良く活用して一貫した長文を生成できるか。
• RQ3 LeakGANは合成データと多様な実世界コーパス（長文、中程度、短文）でどのように性能を示すか。
• RQ4 マネージャー＝ワーカーの相互作用から学習された文構造の洞察は得られるか。

主な発見

Method	BLEU-2	BLEU-3	BLEU-4	BLEU-5	p-value
SeqGAN	0.8590	0.6015	0.4541	0.4498	< 10−6
RankGAN	0.778	0.478	0.411	0.463	< 10−6
LeakGAN	0.956	0.819	0.627	0.498	< 10−6

• LeakGANは長い系列で基準より低い負の対数尤度を達成。
• LeakGANはEMNLP2017 WMT NewsでSeqGANとRankGANよりBLEUスコアが高い（BLEU-2からBLEU-5、p<1e-6）。
• LeakGANはCOCOの画像キャプションでベースラインより優れている（BLEU-2からBLEU-4、p<1e-6）。
• LeakGANは中国語詩でBLEUスコアを向上（BLEU-2、p<1e-6）。
• チューリングテストではLeakGANの生成文がベースラインより実データと区別されにくいとされる頻度が高い（p<1e-6）。
• 視覚的分析は漏洩特徴が生成機を実データの特徴領域へ導くことを示し、監督なしで学習された構造的手掛かりを明らかにする。