[论文解读] Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

Wouter Kool, Herke van Hoof+1 more|UvA-DARE (University of Amsterdam)|Mar 14, 2019

Topic Modeling参考文献 40被引用 18

一句话总结

本文提出了一种名为随机束搜索（Stochastic Beam Search）的新方法，利用 Gumbel-Top-k 技巧从因子化序列模型中无放回地采样序列。通过随机扰动对数概率并应用 Top-k 选择，该方法仅需线性时间评估 k 和序列长度，即可实现精确且多样化的采样，在机器翻译和估计器任务中，其多样性与方差减少性能优于标准采样和确定性束搜索。

ABSTRACT

The well-known Gumbel-Max trick for sampling from a categorical distribution can be extended to sample $k$ elements without replacement. We show how to implicitly apply this 'Gumbel-Top-$k$' trick on a factorized distribution over sequences, allowing to draw exact samples without replacement using a Stochastic Beam Search. Even for exponentially large domains, the number of model evaluations grows only linear in $k$ and the maximum sampled sequence length. The algorithm creates a theoretical connection between sampling and (deterministic) beam search and can be used as a principled intermediate alternative. In a translation task, the proposed method compares favourably against alternatives to obtain diverse yet good quality translations. We show that sequences sampled without replacement can be used to construct low-variance estimators for expected sentence-level BLEU score and model entropy.

研究动机与目标

• 解决标准采样（在低熵分布中产生重复）和确定性束搜索（缺乏多样性且无概率解释）在序列建模中的局限性。
• 开发一种系统化的方法，实现无放回的序列采样，同时保持高质量且多样的输出。
• 利用代表性样本构建低方差的统计估计器，用于模型指标（如 BLEU 分数和熵）的估计。
• 通过随机扰动为束搜索赋予概率解释，弥合采样与束搜索之间的差距。

提出的方法

• 通过向下一个词分布的对数概率添加独立的 Gumbel 噪声，将 Gumbel-Top-k 技巧应用于因子化序列模型。
• 在扰动后的对数概率上执行束搜索，每一步基于扰动得分之和选择 top-k 序列。
• 利用扰动对数概率的 argmax 可生成类别分布的样本（即 Gumbel-Max 技巧），并将其扩展至 Top-k 以实现无放回采样。
• 采用自顶向下的采样策略，避免实例化完整的指数级序列空间，从而保持高效性。
• 利用 Gumbel 过程中最大值与最大值位置的独立性，确保无放回采样的有效性。
• 基于采样序列构建句子级 BLEU 和模型熵的估计器，其方差低于蒙特卡洛采样。

实验结果

研究问题

• RQ1 能否隐式地将 Gumbel-Top-k 技巧应用于因子化序列模型，实现无放回采样，同时避免对序列空间的完整枚举？
• RQ2 随机束搜索能否生成与采样方法相当的多样化、高质量序列，且多样性超过确定性束搜索？
• RQ3 与蒙特卡洛采样相比，随机束搜索在 BLEU 分数和熵等模型指标的估计中是否具有更低的方差？
• RQ4 该方法能否作为序列建模任务中采样与束搜索的系统性替代方案？

主要发现

• 随机束搜索成功从神经机器翻译模型中生成多样化且无冗余的序列，在多样性指标上优于标准采样。
• 与蒙特卡洛采样相比，该方法在预期 BLEU 分数和模型熵估计器中表现出显著更低的方差，尤其在低温设置下（T < 0.5）更为明显。
• 当 T = 0.5 时，归一化的 SBS 估计器方差与蒙特卡洛采样相近，但样本质量更优且每样本计算成本更低。
• 该算法在 k 和序列长度上呈线性扩展，避免了枚举所有序列的指数级开销。
• 该方法在理论上和实践上弥合了采样与束搜索之间的鸿沟，结合了采样的多样性与束搜索的效率和质量优势。
• 该方法可作为束搜索的即插即用替代方案，仅需在标准束搜索流程前对对数概率进行扰动即可实现。