[論文レビュー] Optimal Discrete Uniform Generation from Coin Flips, and Applications

Jérémie Lumbroso|arXiv (Cornell University)|Apr 6, 2013

Algorithms and Data Compression参考文献 15被引用数 14

ひとこと要約

この論文は、ランダムビットから離散一様確率変数を生成する最適なアルゴリズムを提示しており、ビット使用量と計算コストの両方を最小限に抑えています。KnuthとYaoのフレームワークを模倣したビットストリームベースのアプローチを用いることで、ランダムビットの消費において情報理論的最適性を達成するとともに、物理学および生物学分野における効率的なモンテカルロシミュレーションを可能にします。

ABSTRACT

This article introduces an algorithm to draw random discrete uniform variables within a given range of size n from a source of random bits. The algorithm aims to be simple to implement and optimal both with regards to the amount of random bits consumed, and from a computational perspective---allowing for faster and more efficient Monte-Carlo simulations in computational physics and biology. I also provide a detailed analysis of the number of bits that are spent per variate, and offer some extensions and applications, in particular to the optimal random generation of permutations.

研究の動機と目的

• 離散一様分布をサンプリングする際、無駄にランダムビットを消費する既存手法の非効率性を是正すること。
• 任意の範囲サイズ n に対して必要な最小限のランダムビットを消費する実用的なアルゴリズムを開発すること。
• 標準実装で一般的な高コストの除算およびモジュロ演算を回避することで、計算効率を確保すること。
• 数十億個の変数を必要とする高性能シミュレーションに使用可能な情報理論的最適なサンプリングを実現すること。
• Fisher-Yatesシャッフルを用いたアンラッキングによる最適なランダム順列の生成へとこのアプローチを拡張すること。

提案手法

• 無作為なランダムビットの供給源から逐次的にビットを読み取るビットストリームベースの消費モデルを用いる。
• HanとHoshiの区間アルゴリズムに類似した再帰的区間探索法を実装し、目的の確率を囲む現在の区間を維持する。
• ビットの出力に応じて繰り返し半分に分けられるランニング区間 [a, b) を維持し、目的の均一な変数を含む部分区間に絞り込む。
• 区間が十分に小さくなり、[0, n) の一意の整数を特定できるようになった段階で終了し、正確な均一性を保証する。
• ビット演算と32ビット整数のバッファリングを用いてオーバーヘッドを最小限に抑えつつ、最適なビット使用量を維持する。
• 同じフレームワークを用いて、生成された均一な変数を入力として Fisher-Yates シャッフルに使用し、ランダム順列の生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 サイズ n の範囲で離散一様変数を生成するために必要な最小ランダムビット数は何か？
• RQ2 理論的最小値に達するが同時に計算効率も保証されるアルゴリズムを設計可能か？
• RQ3 32ビット整数を用いる標準的手法と比較して、ビットストリームベースのサンプリングは全体の効率性とパフォーマンスにおいてどのように異なるか？
• RQ4 この最適なサンプリングフレームワークを、情報理論的最適性を満たすランダム順列の生成に拡張可能か？
• RQ5 サンプリングなしで取り出す場合のビット複雑度は何か？このアプローチを用いることで改善可能か？

主な発見

• 提案されたアルゴリズムは、任意の n に対してランダムビット使用量において情報理論的最適性を達成しており、必要な最小期待ビット数を正確に消費する。
• ビットレベルの操作と32ビット単位のバッファリングを用いることで、除算やモジュロ演算の高コストな処理を回避する。
• n が2の累乗でない場合、特に小規模な n に対して、従来の切り捨てベースの手法と比較して棄却率を顕著に低減する。
• Fisher-Yates シャッフルに均一な変数を入力として使用することで、ビット効率と時間効率の両方を達成した最適なランダム順列の生成が可能になる。
• アルゴリズムのパフォーマンスは異なるワードサイズに対して安定しており、32ビットレジスタで n=12、64ビットで n=21、128ビットで n=33 の順列をサポートする。
• このフレームワークは、アリス法やサンプリングなしで取り出す場合の他のサンプリング手法のビット複雑度分析の基盤を提供する。