[論文レビュー] The Curious Case of Neural Text Degeneration

Ari Holtzman, Jan Buys+3 more|arXiv (Cornell University)|Apr 22, 2019

Topic Modeling参考文献 40被引用数 1,100

ひとこと要約

本論文はオープンエンド型テキスト生成のデコーディング戦略を分析し、Nucleus Samplingを提案する。これは分布の信頼性の低い尾部を切り捨て、従来法より高品質で多様なテキストを生成する。

ABSTRACT

Despite considerable advancements with deep neural language models, the enigma of neural text degeneration persists when these models are tested as text generators. The counter-intuitive empirical observation is that even though the use of likelihood as training objective leads to high quality models for a broad range of language understanding tasks, using likelihood as a decoding objective leads to text that is bland and strangely repetitive. In this paper, we reveal surprising distributional differences between human text and machine text. In addition, we find that decoding strategies alone can dramatically effect the quality of machine text, even when generated from exactly the same neural language model. Our findings motivate Nucleus Sampling, a simple but effective method to draw the best out of neural generation. By sampling text from the dynamic nucleus of the probability distribution, which allows for diversity while effectively truncating the less reliable tail of the distribution, the resulting text better demonstrates the quality of human text, yielding enhanced diversity without sacrificing fluency and coherence.

研究の動機と目的

• オープンエンド生成におけるニューラル文本の劣化を露呈させる。
• 分布的指標、困惑度、および人間による評価基準のすべてにわたりデコーディング戦略を比較する。
• 長文テキストの推奨デコーディング手法としてNucleus Samplingを提案し、検証する。
• 他の手法に対してNucleus Samplingをいつ、なぜ使用すべきかに関する実践的な指針を提供する。

提案手法

• 累積確率がpになる最小の集合としてトップ-p（ナucleus）語彙を定義する。
• ナucleus上の分布を再正規化し、それからサンプリングする。
• 分布指標と人間評価（HUSE）を用いて、ナucleus samplingをtop-k、温度、ビームサーチ、純粋サンプリングと比較する。
• WebTextデータを用いたGPT-2 Large（762M）Generatively Pre-trained Transformerで評価する。
• 困惑度、Zipf係数、Self-BLEU、反復、およびHUSEを分析して品質と多様性を評価する。

実験結果

リサーチクエスチョン

• RQ1 最大化ベースのデコーディング（例：ビームサーチ）は、オープンエンド生成において低品質で繰り返しのテキストを生み出すことがあるか？
• RQ2 モデル分布の切り捨てた尾部からのサンプリング（Nucleus Sampling）は、高品質で多様なテキストを生成するか？
• RQ3 異なるデコーディング戦略は、分布的・統計的・人間評価基準の観点で人間のテキストとどう比較されるか？

主な発見

方法	パープレキシティ	Self-BLEU	Zipf係数	反復率%	HUSE
Human	12.38	0.31	0.93	0.28	-
Greedy	1.50	0.50	1.00	73.66	-
Beam, b=16	1.48	0.44	0.94	28.94	-
Stochastic Beam, b=16	19.20	0.28	0.91	0.32	-
Pure Sampling	22.73	0.28	0.93	0.22	0.67
Sampling, t=0.9	10.25	0.35	0.96	0.66	0.79
Top-k=40	6.88	0.39	0.96	0.78	0.19
Top-k=640	13.82	0.32	0.96	0.28	0.94
Top-k=40, t=0.7	3.48	0.44	1.00	8.86	0.08
Nucleus p=0.95	13.13	0.32	0.95	0.36	0.97

• 最大化ベースのデコーディングは、オープンエンド生成で繰り返しや一般的なテキストをしばしば生み出す。
• モデルの尾部分布は信頼性が低く、生成時には切り捨てるべきである。
• Nucleus Samplingは人間の困惑度と多様性に密接に一致し、HUSE評価における総合的な品質-多様性のトレードオフで最良を達成する。
• Nucleus SamplingはZipfと多様性指標でほぼ人間に近い分布特性を示し、繰り返しを避ける。
• Top-kサンプリングと温度には文脈依存の欠点があり、純粋サンプリングは一貫性を欠くことがある。