[论文解读] Multi-dimensional Boltzmann Sampling of Languages

Olivier Bodini, Yann Ponty|Jan 30, 2010

Algorithms and Data Compression参考文献 12被引用 7

一句话总结

本文提出了一种多维玻尔兹曼采样框架，用于在每个终结符符号的频率约束为精确或近似的情况下，从上下文无关语言中均匀生成单词。在强连通性和非周期性假设下，该方法在期望时间 $\mathcal{O}(n^{1+k/2})$ 内实现精确大小和精确组成生成，在 $\mathcal{O}(n)$ 时间内实现近似大小生成，且字母频率容忍度为 $\Omega(\sqrt{n})$，优于以往的递归方法。

ABSTRACT

This paper addresses the uniform random generation of words from a context-free language (over an alphabet of size $k$), while constraining every letter to a targeted frequency of occurrence. Our approach consists in a multidimensional extension of Boltzmann samplers \cite{Duchon2004}. We show that, under mostly \emph{strong-connectivity} hypotheses, our samplers return a word of size in $[(1-\varepsilon)n, (1+\varepsilon)n]$ and exact frequency in $\mathcal{O}(n^{1+k/2})$ expected time. Moreover, if we accept tolerance intervals of width in $Ω(\sqrt{n})$ for the number of occurrences of each letters, our samplers perform an approximate-size generation of words in expected $\mathcal{O}(n)$ time. We illustrate these techniques on the generation of Tetris tessellations with uniform statistics in the different types of tetraminoes.

研究动机与目标

• 实现对上下文无关语言中单词的均匀随机生成，且每个终结符符号的频率符合预设要求。
• 克服递归方法在精确组成下需要 $\mathcal{O}(n^k)$ 或 $\mathcal{O}(n^{2k})$ 次操作的局限性。
• 通过利用加权玻尔兹曼采样和拒绝采样，开发一种可扩展、低内存的递归预计算替代方法。
• 分析在大小和组成容忍度下多维拒绝采样的性能。
• 在四格骨牌拼图（Tetris tessellations）上验证该方法，实现四种四格骨牌类型的均匀频率。

提出的方法

• 通过调节权重使生成结果匹配目标字母频率，将单变量玻尔兹曼采样扩展至多变量生成。
• 采用三阶段方法：(I) 参数调节以使期望组成与目标一致，(II) 对结构进行加权玻尔兹曼采样，(III) 拒绝大小或组成不合适的样本。
• 基于生成函数和可微级数使用加权玻尔兹曼采样器，仅在组成偏离容忍范围时应用拒绝。
• 在强连通性和非周期性假设下，将该方法应用于上下文无关语法，以确保生成函数行为良好。
• 利用黄志伟的准幂定理和多变量中心极限定理分析字母计数的集中性和方差。
• 在四格骨牌拼图上验证该框架，通过建模使用全部四种四格骨牌类型对矩形区域进行平衡铺砌。

实验结果

研究问题

• RQ1 多维玻尔兹曼采样能否用于在上下文无关语言中生成每个终结符符号具有精确频率约束的单词？
• RQ2 在精确大小和组成约束下，生成此类单词的期望时间复杂度是多少？
• RQ3 在允许大小和组成容忍度的情况下，采样器的性能如何变化？
• RQ4 在何种语法条件下（如强连通性、非周期性）可保证该方法高效收敛？
• RQ5 该方法能否推广至上下文无关语言和四格骨牌拼图之外的其他组合类？

主要发现

• 对于强连通且非周期的上下文无关语言，精确大小和精确组成生成的期望时间复杂度为 $\mathcal{O}(n^{1+k/2})$。
• 当组成容忍度为 $\Omega(\sqrt{n})$ 且大小容忍度为线性时，采样器的期望时间复杂度为 $\mathcal{O}(n)$。
• 该方法优于现有递归方法，后者对有理语言和上下文无关语言分别需要 $\mathcal{O}(n^k)$ 和 $\mathcal{O}(n^{2k})$ 次操作。
• 该框架成功生成了四种四格骨牌类型均匀分布的完美四格骨牌拼图。
• 拒绝阶段的复杂度由多变量生成函数的集中性决定，方差通过黄志伟的准幂定理控制。
• 该方法仅需 $\mathcal{O}(n)$ 内存，相较于需要 $\mathcal{O}(n)$ 内存但时间复杂度更高的递归方法具有显著优势。