[论文解读] Streaming Algorithms for Optimal Generation of Random Bits

Hongchao Zhou, Jehoshua Bruck|arXiv (Cornell University)|Sep 4, 2012

Algorithms and Data Compression参考文献 11被引用 4

一句话总结

本文提出一种流式算法，通过使用有界状态树动态实时生成最优随机比特流，从有偏硬币中提取无偏比特。该方法在保持线性期望时间与常数空间的同时，实现了渐近最优的信息效率——趋近于香农熵极限，并可扩展至m面骰子及未知转移概率的马尔可夫链。

ABSTRACT

Generating random bits from a source of biased coins (the biased is unknown) is a classical question that was originally studied by von Neumann. There are a number of known algorithms that have asymptotically optimal information efficiency, namely, the expected number of generated random bits per input bit is asymptotically close to the entropy of the source. However, only the original von Neumann algorithm has a `streaming property' - it operates on a single input bit at a time and it generates random bits when possible, alas, it does not have an optimal information efficiency. The main contribution of this paper is an algorithm that generates random bit streams from biased coins, uses bounded space and runs in expected linear time. As the size of the allotted space increases, the algorithm approaches the information-theoretic upper bound on efficiency. In addition, we discuss how to extend this algorithm to generate random bit streams from m-sided dice or correlated sources such as Markov chains.

研究动机与目标

• 设计一种流式算法，实时从有偏硬币源生成无偏随机比特，无需等待完整输入序列。
• 在保持有界内存与线性期望时间的前提下，实现渐近最优的信息效率——趋近于源的香农熵。
• 将算法扩展至处理更大字母表的源（如m面骰子）以及具有未知转移概率的马尔可夫链等相关源。
• 在保持流式特性（动态输出生成）的同时，改进冯·诺依曼原始算法的不足——后者虽高效但非信息论最优。
• 证明随着状态空间（树深度）增大，算法效率趋近于信息论上界。

提出的方法

• 将算法的内部状态表示为二叉状态树，其中每个节点标记为{φ, H, T, 0, 1}中的符号，以支持基于输入硬币投掷结果的动态状态转移。
• 通过预定义规则更新状态树，处理每个输入比特，以追踪未来生成随机比特所需的信息，避免熵的损失。
• 仅当在当前状态中检测到完整配对（HT或TH）时才生成随机比特，类似于冯·诺依曼方法，但推广至高阶状态。
• 使用待处理缓冲区存储马尔可夫链中每个状态的最新一次退出事件，延迟将输入送入广义随机流算法，直至同一状态的第二次退出被观察到。
• 对每个状态的退出流独立应用广义随机流算法，然后按其自然生成顺序交错合并生成的比特，形成单一输出流。
• 限制状态树的深度以控制空间使用，表明随着深度增加，效率迅速趋近于香农熵边界。

实验结果

研究问题

• RQ1 能否设计一种流式算法，从有偏硬币源生成无偏随机比特，同时满足有界内存与渐近最优信息效率？
• RQ2 如何将冯·诺依曼的流式方法推广，以实现信息论最优性，而无需批量处理？
• RQ3 在流式随机比特生成中，内存大小（树深度）与信息效率之间的权衡为何？
• RQ4 能否将该算法扩展至从m面骰子或具有未知转移概率的马尔可夫链生成随机比特流，同时保持最优性？
• RQ5 是否可能在保持流式特性（动态、实时输出）的同时，实现相关源的理论效率上界？

主要发现

• 所提出的随机流算法能从有偏硬币源生成独立且无偏的随机比特流，满足流式特性：对任意输入前缀，其输出均为完整输出的前缀。
• 该算法实现了渐近最优的信息效率：随着生成比特数增加，每生成一个随机比特所消耗的输入比特数的期望值趋近于1/H(p)，其中H(p)为有偏硬币的香农熵。
• 通过增加状态树的深度，算法效率迅速趋近于信息论上界，同时保持空间使用有界。
• 该算法在期望线性时间内运行，仅使用有界空间，适用于实时系统。
• 该方法可推广至m面骰子，信息效率仍保持渐近最优；亦可适用于未知转移概率的马尔可夫链。
• 对于马尔可夫链，算法独立处理每个状态的退出序列，缓冲待处理的退出事件，并按生成顺序合并输出，从而生成单一无偏比特流，且效率最优。