[論文レビュー] Evaluating Text GANs as Language Models

Guy Tevet, Gavriel Habib+2 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 32被引用数 23

ひとこと要約

この論文では、GAN が生成するテキストの確率分布をモンテカルロ法で近似する手法を提案しており、BPC やパープレキシティといった標準的な言語モデル評価指標を用いた評価を可能にしている。著者らは、RNN を用いたテキスト GAN が現在、最先端の言語モデルと比べて著しく劣っていることを示しており、BPC スコアが最先端の言語モデルのそれよりも顕著に高いことがわかった。

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach for text generation that, unlike traditional language models (LM), does not suffer from the problem of ``exposure bias''. However, A major hurdle for understanding the potential of GANs for text generation is the lack of a clear evaluation metric. In this work, we propose to approximate the distribution of text generated by a GAN, which permits evaluating them with traditional probability-based LM metrics. We apply our approximation procedure on several GAN-based models and show that they currently perform substantially worse than state-of-the-art LMs. Our evaluation procedure promotes better understanding of the relation between GANs and LMs, and can accelerate progress in GAN-based text generation.

研究の動機と目的

• 標準的な確率に基づく言語モデル評価指標を直接適用できないテキスト GAN の信頼性の高い評価指標の欠如に対処すること。
• GAN を用いたテキスト生成と従来の言語モデル学習のギャップを埋めるために、GAN の出力分布を確率分布として近似すること。
• BPC やパープレキシティといった標準指標を用いて、RNN を用いたテキスト GAN の性能を最先端の言語モデルと実証的に比較すること。
• GAN を用いたテキスト生成分野における進歩を支援する、実用的で再現可能な評価フレームワークを提供すること。

提案手法

• 複数回の生成を繰り返すモンテカルロサンプリング手順を用いて、テキスト GAN の生成器の期待出力分布を近似する。
• サンプルされた系列におけるトークンの経験的頻度を用いて、各時刻における確率分布を推定する。
• 連続する近似間の差の L-無限大ノルムに基づく収束基準を用いて、十分なサンプリングサイズを決定する。
• 精度と計算コストのバランスを取るために、しきい値（γ′ = 10⁻³）とサンプル間隔（α = 10）を設定する。
• 得られた近似分布を、標準的な言語モデル評価指標（1文字あたりビット数（BPC）とパープレキシティ）で評価する。
• 特に確率分布を明示的に出力するモデル（例：SeqGAN）における真の BPC と比較することで、近似の正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロサンプリングを用いて、テキスト GAN の出力分布を意味的に意味のある方法で近似できるか。これにより、標準的な言語モデル評価指標による評価が可能になるか。
• RQ2 BPC やパープレキシティを用いて評価した場合、RNN を用いたテキスト GAN の性能は、最先端の言語モデルと比べてどの程度異なるか。
• RQ3 GAN の敵対的訓練が、BPC や定性的なサンプル分析によって測定された生成テキストの品質に悪影響を及えるのか。
• RQ4 GAN の出力分布の安定的かつ正確な近似を達成するために必要な最小サンプル数はどの程度か。

主な発見

• 提案されたモンテカルロ近似法は高い正確性を達成しており、SeqGAN における近似 BPC 値は真の BPC に対してわずかに高いにとどまり、この手法の信頼性が裏付けられた。
• 評価されたすべての RNN を用いたテキスト GAN（Press et al., 2017; Yu et al., 2017）は、最先端の言語モデルと比べて顕著に高い BPC スコアを示しており、性能が著しく劣っていることが示された。
• SeqGAN における事前学習済み言語モデルベースラインの BPC は 1.95 であったが、敵対的微調整後には 2.06 に低下し、敵対的訓練が性能を損なう可能性があることが示された。
• より長いシーケンス生成（100 文字）では、再帰的 GAN（Press et al., 2017）の BPC が顕著に上昇しており、スケールが大きくなると品質が劣化していることが示唆された。
• 両モデルの定性的なサンプルは、特に長いシーケンスにおいて整合性が低く、繰り返しが多いことが確認され、BPC の低下と一致する結果となった。
• 収束解析により、各時刻あたり約 2000 個のサンプルが必要であることが確認され、安定した近似が得られることがわかった。