[論文レビュー] On Accurate Evaluation of GANs for Language Generation

Stanislau Semeniuta, Aliaksei Severyn+1 more|arXiv (Cornell University)|Jun 13, 2018

Topic Modeling参考文献 31被引用数 77

ひとこと要約

本論文は、BLEUベースの評価がテキストGANに不十分であると主張し、代替指標を提案（特にInferSent埋め込みを用いたFrechet距離と逆LMスコア）し、適切に調整・公正に評価した場合、従来の言語モデルがGANよりも性能を上回ることが多いと示している。

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach to language generation. The latest works introducing novel GAN models for language generation use n-gram based metrics for evaluation and only report single scores of the best run. In this paper, we argue that this often misrepresents the true picture and does not tell the full story, as GAN models can be extremely sensitive to the random initialization and small deviations from the best hyperparameter choice. In particular, we demonstrate that the previously used BLEU score is not sensitive to semantic deterioration of generated texts and propose alternative metrics that better capture the quality and diversity of the generated samples. We also conduct a set of experiments comparing a number of GAN models for text with a conventional Language Model (LM) and find that neither of the considered models performs convincingly better than the LM.

研究の動機と目的

• GANを用いた教師なしテキスト生成におけるn-gramベースの評価（例：BLEU）の限界を評価する。
• 生成テキストの品質と多様性を捉える指標（FD、逆LMスコア）を提案・検証する。
• GANの性能に対するハイパーパラメータ感度とランダム初期化の影響を示す。
• 公正な評価プロトコルの下で、さまざまなGANアーキテクチャを従来の言語モデルと比較する。

提案手法

• テキストGANの評価指標としてのBLEUとセルフBLEUのレビューと批評。
• InferSent埋め込みを用いたテキストへのFrechet Inception Distance（FID）の適用（FD）。
• 生成サンプルが実データ分布をどれだけカバーするかを測定するための逆LMスコアを用いる。
• ランダム探索（100回試行）による体系的な多回実行のハイパーパラメータ調整と再訓練を通じて安定性を定量化する（シードごとの平均と標準偏差）。
• 固定された生成器アーキテクチャ（LSTM）でSNLIおよびMultiNLIを用いた評価。さまざまなGAN変種（連続・離散）を適用。
• 提案プロトコルの下で、GAN変種（SeqGAN、LeakGANなど）を言語モデルのベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 BLEUとセルフ-BLEUはGAN生成テキストの品質と多様性を適切に反映しているか？
• RQ2 FDと逆LMスコアは実データと生成データ間の意味的品質と分布的類似性をより正確に捉えることができるか？
• RQ3 従来の言語モデルと比較して、GANベースのテキスト生成器はハイパーパラメータとランダムシードにどれだけ敏感か？
• RQ4 公正な複数指標プロトコルで評価した場合、GANは標準的な言語モデルに明確な優位性を提供するか？

主な発見

• BLEUベースの指標はテキストの品質を誤って評価し、意味的な劣化を見逃すことがある。
• FDと逆LMスコアはBLEUが見逃す意味論的・分布的差異を確実に検出する。
• GANモデルは初期化やハイパーパラメータに高度に敏感で、しばしば広範なチューニングを要する。しかし、適切なチューニングを行っても、よく訓練された言語モデルに勝てないことが多い。
• 本研究では事前訓練を伴う離散GANモデルが連続型より概ね優れているが、適切に調整された言語モデルを説得力をもって上回るものはなかった。
• ジェネレータの事前訓練はGAN変種全体で妥当な結果を得るために重要である。過度に高い学習率での長期的なGAN訓練はしばしば性能を低下させる。
• 多くの設定で、言語モデルが複数の指標でGANより良いまたは同等の結果を達成しており、多指標評価の必要性を示している。