[論文レビュー] Sparse Text Generation

Pedro Henrique Martins, Zita Marinho+1 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 44被引用数 4

ひとこと要約

本稿では、エントロピー最大化変換を用いて、トレーニングと推論の間の不一致を解消するネイティブにスパースな言語モデルを訓練・サンプリングするためのentmaxサンプリングを提案する。グリーディ、top-k、nucleusサンプリングと比較して、文の自然さが向上し、繰り返しが減少し、n-gramの多様性が向上し、物語生成および対話生成における人間による評価での一貫性と関与度が優れている。

ABSTRACT

Current state-of-the-art text generators build on powerful language models such as GPT-2, achieving impressive performance. However, to avoid degenerate text, they require sampling from a modified softmax, via temperature parameters or ad-hoc truncation techniques, as in top-$k$ or nucleus sampling. This creates a mismatch between training and testing conditions. In this paper, we use the recently introduced entmax transformation to train and sample from a natively sparse language model, avoiding this mismatch. The result is a text generator with favorable performance in terms of fluency and consistency, fewer repetitions, and n-gram diversity closer to human text. In order to evaluate our model, we propose three new metrics for comparing sparse or truncated distributions: $ε$-perplexity, sparsemax score, and Jensen-Shannon divergence. Human-evaluated experiments in story completion and dialogue generation show that entmax sampling leads to more engaging and coherent stories and conversations.

研究の動機と目的

• 神経的テキスト生成におけるトレーニング（尤度最大化）と推論（切り捨てサンプリング）の間の不一致を解消する。
• グリーディ、top-k、nucleusサンプリングといった既存のデコーディング手法の制限を克服し、トレーニング中にネイティブなスパーシティを可能にする。
• 言語モデルにおけるスパースかつ切り捨てられた確率分布のための新しい評価フレームワークを開発する。
• 繰り返しを減らし、多様性を高めつつ、自然さと一貫性を維持することで、テキスト生成の質を向上させる。
• 物語完了および対話生成タスクにおいて、自動評価および人間評価の両面で優れた性能を示す。

提案手法

• raw logitsをスパースな確率分布に変換するためにentmax変換を適用し、トレーニングおよび推論の両方でネイティブなスパーシティを実現する。
• entmaxに基づく微分可能な損失関数を用い、後処理による切り捨てを避けるために、データから最適なスパーシティレベルを学習可能にする。
• 標準的なソフトマックスサンプリングに代えて、entmaxサンプリングを導入し、手動のハイパーパrameterを必要とせず、文脈依存の高確率語の数を適応的に選択する。
• スパース分布に特化した3つの新しい評価指標を導入：εパーリューティー、sparsemaxスコア、およびジェンセン・ショーンャン・ダイバージェンス。
• entmax損失を用いて、トランスフォーマーに基づく言語モデルをトレーニングおよびファインチューニングし、スパース出力分布を最適化する。
• 複数のベンチマークで評価：WritingPrompts（物語完了）、Persona-Chat（対話）、およびシミュレーテッドマルチターン対話。

実験結果

リサーチクエスチョン

• RQ1 entmax損失でトレーニングされたネイティブにスパースな言語モデルは、標準的なサンプリング手法を上回るテキスト生成品質を達成できるか？
• RQ2 entmaxサンプリングは、top-kおよびnucleusサンプリングと比較して、自然さ、多様性、一貫性の面で優れているか？
• RQ3 εパーリューティーおよびジェンセン・ショーンャン・ダイバージェンスといった新規指標は、スパース言語モデルの評価に効果的か？
• RQ4 entmaxサンプリングは、既存の手法と比較して繰り返しを減らし、n-gramの多様性を向上させているか？
• RQ5 entmaxサンプリングは、オープンエンド対話生成における人間による関与度と一貫性を向上させているか？

主な発見

• entmaxサンプリングは、人間による評価で最高の関与度（5点中3.9点）と一貫性（5点中3.6点）を達成し、p < 0.01の有意差でtop-k（5点中3.3点）およびnucleusサンプリング（5点中3.3点）を上回った。
• 対話シミュレーションでは、entmaxは平均15.83発話の長さで、13,020語の固有語を生成し、nucleusサンプリング（10,098語）およびソフトマックス（11,242語）を上回った。
• 対話シミュレーションにおいて、entmaxは最高のdistinct-1（0.6546）およびdistinct-2（0.9211）スコアを記録し、優れたn-gramの多様性を示した。
• entmaxサンプリングは、最も低いεパーリューティー（17.10）および最も高いsparsemaxスコア（0.642）を達成し、基準分布との整合性が優れていた。
• entmaxは、自然さ（5点中4.1点）を維持し、グリーディおよびnucleusサンプリングと同等の水準であったが、一貫性と関与度を顕著に向上させた。
• 物語完了タスクにおいて、entmaxは繰り返しや話題外れの内容を減少させたことが、WritingPromptsデータセットからの定性的な例で示された。