[論文レビュー] Adversarial Ranking for Language Generation

Kevin Lin, Dianqi Li+3 more|arXiv (Cornell University)|May 31, 2017

Natural Language Processing Techniques参考文献 24被引用数 158

ひとこと要約

RankGANはGANフレームワークにおいて二値識別器をランカーに置き換え、人間が書いた文を機械生成文より高くランク付けし、ポリシー勾配を用いて生成器を訓練し、より高くランク付けされた言語出力を生成する。

ABSTRACT

Generative adversarial networks (GANs) have great successes on synthesizing data. However, the existing GANs restrict the discriminator to be a binary classifier, and thus limit their learning capacity for tasks that need to synthesize output with rich structures such as natural language descriptions. In this paper, we propose a novel generative adversarial network, RankGAN, for generating high-quality language descriptions. Rather than training the discriminator to learn and assign absolute binary predicate for individual data sample, the proposed RankGAN is able to analyze and rank a collection of human-written and machine-written sentences by giving a reference group. By viewing a set of data samples collectively and evaluating their quality through relative ranking scores, the discriminator is able to make better assessment which in turn helps to learn a better generator. The proposed RankGAN is optimized through the policy gradient technique. Experimental results on multiple public datasets clearly demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• Motivation: GANsで二値識別器を超えることで言語生成を改善する動機付け。
• Aim: 相対的ランキング情報から学習してより高品質な自然言語を生成する。
• Goal: RankGANの有効性を複数の公開データセットで最先端の方法と比較して示す。

提案手法

• GとRの二ネットワークアーキテクチャ。
• Rankerは埋め込み空間でコサイン類似度を用いて、候補文と参照文を比較し相対的なランク付けスコアを計算する。
• 生成器は離散的なテキスト出力を扱うため、ポリシー勾配とモンテカルロ展開で訓練される。
• ランキングスコアは、参照文を含む候補セットに対してソフトマックス様の関数を用いて計算される。
• 訓練は、参照に対して人間が書いた文より高くランク付けされる文を生成するようGを促すミンマックス目的を使用する。
• Rankerの訓練は、人間が書いた文と機械生成文を対比させるランキング目的を最大化する。

実験結果

リサーチクエスチョン

• RQ1 Can a ranking-based discriminator provide richer feedback than a binary classifier for language generation?
• RQ2 Does RankGAN improve generation quality across diverse language tasks and datasets?
• RQ3 How effective is policy gradient with ranking-based rewards for training text generators?
• RQ4 What impact do reference and comparison set sizes have on RankGAN performance?

主な発見

• RankGAN outperforms SeqGAN and other baselines on synthetic data in terms of negative log-likelihood.
• RankGAN achieves higher BLEU-2/BLEU-3/BLEU-4 scores than baselines on Chinese poems, COCO captions, and Shakespeare data.
• Human evaluation scores favor RankGAN-generated text over SeqGAN on Chinese poems and COCO captions.
• RankGAN demonstrates improved language fluency and diversity inferred from both automatic metrics and human judgments.
• The ranking-based objective is more informative than BLEU-based rewards in guiding generator learning.