[论文解读] A Practical Implementation of the Bernoulli Factory

André Thomas, José Blanchet|arXiv (Cornell University)|Jun 13, 2011

Statistical Methods and Inference参考文献 6被引用 4

一句话总结

本文提出了一种实用且高效的伯努利工厂框架，通过级联包络函数从独立同分布的伯努利输入中模拟任意工厂函数 f(p)。通过采用具有策略性选择的上下包络的嵌套伯恩斯坦多项式逼近，该方法显著减少了所需的输入比特数，尤其适用于凹函数、凸函数或分段线性函数，同时确保几乎必然终止和理论正确性。

ABSTRACT

The Bernoulli Factory is an algorithm that takes as input a series of i.i.d. Bernoulli random variables with an unknown but fixed success probability $p$, and outputs a corresponding series of Bernoulli random variables with success probability $f(p)$, where the function $f$ is known and defined on the interval $[0,1]$. While several practical uses of the method have been proposed in Monte Carlo applications, these require an implementation framework that is flexible, general and efficient. We present such a framework for functions that are either strictly linear, concave, or convex on the unit interval using a series of envelope functions defined through a cascade, and show that this method not only greatly reduces the number of input bits needed in practice compared to other currently proposed solutions for more specific problems, and is easy to specify for simple forms, but can easily be coupled to asymptotically efficient methods to allow for theoretically strong results.

研究动机与目标

• 开发一种适用于 [0,1] 上任意函数 f(p) 的通用、高效且可实现的伯努利工厂框架。
• 通过引入级联包络结构，解决先前方法在处理伯恩斯坦多项式逼近的非自然极限时的低效问题。
• 在最小化实际所需输入比特数的同时，确保理论正确性和有限的期望运行时间。
• 通过结合灵活性、简洁性和强收敛性，使该框架能够实际应用于蒙特卡洛方法中。

提出的方法

• 该方法使用伯恩斯坦多项式逼近构造上下包络函数，确保包络在上下界上正确嵌套。
• 引入多级包络的级联结构，其中每一级包络在更小的尺度上定义，确保上包络始终主导 f(p)，下包络始终被 f(p) 主导。
• 对于分段线性凹函数或凸函数，通过选择包络参数，使每一级的伯恩斯坦多项式在整个 [0,1] 上满足包络条件。
• 对于如 √p 或抛物线函数等光滑函数，由于缺乏分段线性性质，方法通过在离散点进行数值验证来手动确认包络条件。
• 算法基于将输入比特的部分和与预计算的阈值进行比较，采用停止规则，确保以概率 1 终止。
• 该框架支持与渐近高效的算法集成，并可通过预置包络（例如 20 位初始阶段）实现优化，从而在小 p 情况下加速收敛。

实验结果

研究问题

• RQ1 如何使伯努利工厂在广泛函数类上既理论正确又实际高效？
• RQ2 使用具有两个吸收态的随机过程模拟 f(p) 时，所需输入比特的最小期望数量是多少？
• RQ3 级联包络系统能否克服标准伯恩斯坦多项式逼近在非自然极限（如凸函数）下的低效问题？
• RQ4 如何为非分段线性函数（如 √p 或抛物线函数）构造包络函数，同时保持正确性和效率？
• RQ5 能否使用预置包络加速收敛而不损害工厂的正确性？

主要发现

• 与先前方法相比，包络级联显著减少了期望输入比特数，尤其在小 p 情况下，Flegal-Herbei 弹性肘函数示例已证明此效果。
• 在改进的 Flegal-Herbei 算法中使用 20 位预置包络，实现了显著加速，尤其在低 p 区域表现突出。
• 对于平方根函数 f(p) = √p，通过使用基于幂的包络 h^m(p) = p^{1/q_m} 的级联，证明其满足包络条件并实现高效模拟。
• 对于 √p，采用单个类似切线的上包络（例如 h^1(p) = min(0.358 + 0.7p, 1)）在 p 接近 0.5 时表现出极高效率，优于标准级联结构。
• 该方法保证几乎必然终止，因为对于任意包络层级，均存在有限的 n，使得上包络的伯恩斯坦多项式在整个 [0,1] 上主导 f(p)。
• 对于光滑函数，期望收敛时间以 1/n 的速率衰减，但对于具有无界二阶导数的函数（如 √p），在 p 接近 0 时收敛速度会变慢。