[论文解读] A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation

Moin Nadeem, Tianxing He+2 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 8被引用 8

一句话总结

本文通过识别 top-k、nucleus 和 tempered sampling 三种算法共有的三个特性——熵减少、顺序保持和斜率保持，系统地表征了开放性语言生成中的采样算法。研究证明，违反这些特性会导致性能严重下降，而满足这些特性的新算法则可达到与现有方法相当的性能，揭示了高效生成的核心原则。

ABSTRACT

This work studies the widely adopted ancestral sampling algorithms for auto-regressive language models, which is not widely studied in the literature. We use the quality-diversity (Q-D) trade-off to investigate three popular sampling algorithms (top-k, nucleus and tempered sampling). We focus on the task of open-ended language generation. We first show that the existing sampling algorithms have similar performance. After carefully inspecting the transformations defined by different sampling algorithms, we identify three key properties that are shared among them: entropy reduction, order preservation, and slope preservation. To validate the importance of the identified properties, we design two sets of new sampling algorithms: one set in which each algorithm satisfies all three properties, and one set in which each algorithm violates at least one of the properties. We compare their performance with existing sampling algorithms, and find that violating the identified properties could lead to drastic performance degradation, as measured by the Q-D trade-off. On the other hand, we find that the set of sampling algorithms that satisfies these properties performs on par with the existing sampling algorithms. Our data and code are available at https://github.com/moinnadeem/characterizing-sampling-algorithms

研究动机与目标

• 探究为何广泛使用的采样算法（如 top-k、nucleus 和 tempered sampling）在开放性语言生成中表现相似。
• 识别这些算法之间共有的结构性特性，以解释其鲁棒性能的原因。
• 通过系统的消融实验和新型算法设计，验证这些特性的必要性与充分性。
• 基于识别出的特性开发新的采样算法，并与现有方法进行性能对比。
• 提供超越启发式超参数调优的采样算法设计的系统性理解。

提出的方法

• 作者采用质量-多样性（Q-D）权衡作为评估框架，结合自动指标（BLEU 衡量质量，n-gram 熵衡量多样性）与人工评估。
• 他们形式化定义并证明了 top-k、nucleus 和 tempered sampling 均满足三个关键特性：熵减少、顺序保持和斜率保持。
• 他们设计了两组新的采样算法：一组中每个算法均满足全部三个特性，另一组中每个算法至少违反一个特性。
• 新算法包括随机 top-k、最大熵采样和目标熵采样等，以测试特性违反的影响。
• 性能通过自动指标和人工标注的生成文本质量与多样性进行评估。
• 研究使用 GPT-2 模型在开放性生成任务上进行实验，通过网格搜索调整超参数，并在多个提示下进行比较。

实验结果

研究问题

• RQ1 为何 top-k、nucleus 和 tempered sampling 尽管形式不同，但在开放性语言生成中表现相似？
• RQ2 成功的采样算法共享哪些共同的结构性特性，以促进其性能？
• RQ3 现有采样算法的性能是否依赖于这些共享特性？
• RQ4 能否设计出满足这些特性的新采样算法，并实现与现有方法相当的性能？
• RQ5 当这些特性被违反时，生成质量与多样性会发生什么变化？

主要发现

• top-k、nucleus 和 tempered sampling 在质量-多样性权衡上表现相当，人工评估和自动指标均无显著差距。
• 所有三种现有算法均满足所识别的三个特性：熵减少、顺序保持和斜率保持。
• 违反任一特性的采样算法均表现出显著的性能下降，尤其在语义和句法连贯性方面。
• 目标熵采样算法（违反熵减少和斜率保持）的语料 BLEU 得分最低，且缺乏基本的语言结构。
• 如随机 top-k 和最大熵采样等新算法，若满足全部三个特性，则生成质量与现有方法相当。
• 结果实证验证了所识别的三个特性在开放性语言生成中既必要又充分，是实现竞争性性能的关键。