[論文レビュー] A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation

Moin Nadeem, Tianxing He+2 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 8被引用数 8

ひとこと要約

本稿では、トップ-k、ヌクレアス、温度調整付きサンプリングの3つのアルゴリズムに共通する3つの性質——エントロピー低減、順序保存、勾配保存——を同定することで、オープンエンド言語生成におけるサンプリングアルゴリズムを体系的に特徴付けている。これらの性質を満たさない場合、著しく性能が低下するが、それらを満たす新しいアルゴリズムは、既存手法と同等の性能を達成しており、効果的な生成のための核心的原則が明らかになった。

ABSTRACT

This work studies the widely adopted ancestral sampling algorithms for auto-regressive language models, which is not widely studied in the literature. We use the quality-diversity (Q-D) trade-off to investigate three popular sampling algorithms (top-k, nucleus and tempered sampling). We focus on the task of open-ended language generation. We first show that the existing sampling algorithms have similar performance. After carefully inspecting the transformations defined by different sampling algorithms, we identify three key properties that are shared among them: entropy reduction, order preservation, and slope preservation. To validate the importance of the identified properties, we design two sets of new sampling algorithms: one set in which each algorithm satisfies all three properties, and one set in which each algorithm violates at least one of the properties. We compare their performance with existing sampling algorithms, and find that violating the identified properties could lead to drastic performance degradation, as measured by the Q-D trade-off. On the other hand, we find that the set of sampling algorithms that satisfies these properties performs on par with the existing sampling algorithms. Our data and code are available at https://github.com/moinnadeem/characterizing-sampling-algorithms

研究の動機と目的

• トップ-k、ヌクレアス、温度調整付きサンプリングといった広く使われているサンプリングアルゴリズムが、オープンエンド言語生成においてなぜ同程度の性能を発揮するのかを調査すること。
• これらのアルゴリズムに共通する構造的性質を同定し、その性能の強固さを説明すること。
• 体系的なアブレーションと新規アルゴリズム設計を通じて、これらの性質の必要性と十分性を検証すること。
• 同定された性質に基づいて新たなサンプリングアルゴリズムを開発し、既存手法とその性能を比較すること。
• ヒューリスティックなハイパーパrameterチューニングを超えて、サンプリングアルゴリズム設計の原理的理解を提供すること。

提案手法

• 著者たちは、品質と多様性のトレードオフ（Q-Dトレードオフ）を評価フレームワークとして用い、自動指標（品質評価にBLEU、多様性評価にn-gramエントロピー）と人的評価を統合している。
• トップ-k、ヌクレアス、温度調整付きサンプリングがすべて3つの鍵となる性質——エントロピー低減、順序保存、勾配保存——を満たしていることを、形式的に定義し、証明している。
• 3つの性質をすべて満たすアルゴリズムと、少なくとも1つを違反するアルゴリズムをそれぞれ含む2つの新しいアルゴリズムセットを設計している。
• ランダムトップ-k、最大エントロピー採番、目的エントロピー採番など、性質違反の影響をテストするための多様なアルゴリズムを含んでいる。
• 生成テキストの品質と多様性について、自動指標と人的アノテーションの両方を用いて性能を評価している。
• グリッドサーチによるハイパーパrameterチューニングを経て、GPT-2モデルを用いてオープンエンド生成タスクで複数のプロンプトに対して比較評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 トップ-k、ヌクレアス、温度調整付きサンプリングは、異なる定式化を持つにもかかわらず、なぜオープンエンド言語生成において同程度の性能を発揮するのか？
• RQ2 成功したサンプリングアルゴリズムが共有する共通の構造的性質は何か？
• RQ3 既存のサンプリングアルゴリズムの性能は、これらの共通性質に依存しているのか？
• RQ4 これらの性質を満たす新しいサンプリングアルゴリズムは、既存手法と同等の性能を達成できるか？
• RQ5 これらの性質が違反された場合、生成品質と多様性はどのように変化するか？

主な発見

• トップ-k、ヌクレアス、温度調整付きサンプリングは、品質と多様性のトレードオフにおいて同等の性能を示しており、人的評価や自動指標において顕著な差は認められない。
• 3つの既存アルゴリズムすべてが、同定された3つの性質——エントロピー低減、順序保存、勾配保存——を満たしている。
• 3つの性質のいずれかを違反するサンプリングアルゴリズムは、特に意味的・文法的整合性において著しい性能低下を示す。
• エントロピー低減と勾配保存の両方を違反する目的エントロピー採番アルゴリズムは、最低のコーパス-BLEUスコアを記録し、基本的な言語構造を欠いた生成結果を示している。
• ランダムトップ-k や最大エントロピー採番といった、3つの性質をすべて満たす新規アルゴリズムは、既存手法と同等の生成品質を達成している。
• 結果として、同定された3つの性質が、オープンエンド言語生成における競争的性能を発揮する上で、必要かつ十分であることが実証的に裏付けられた。