[論文レビュー] Streaming Algorithms for Optimal Generation of Random Bits

Hongchao Zhou, Jehoshua Bruck|arXiv (Cornell University)|Sep 4, 2012

Algorithms and Data Compression参考文献 11被引用数 4

ひとこと要約

この論文は、偏りのあるコインから最適なランダムビットストリームを生成するストリーミングアルゴリズムを提示している。偏りのあるコインからの情報効率がエントロピーの限界に近づくように、状態木を用いて動的に無作為ビットをリアルタイムで生成する。この方法は、漸近的に最適な情報効率を達成し、期待時間線形かつ定数空間を維持する。さらに、m面のサイコロや未知の遷移確率をもつマルコフ連鎖への応用も可能である。

ABSTRACT

Generating random bits from a source of biased coins (the biased is unknown) is a classical question that was originally studied by von Neumann. There are a number of known algorithms that have asymptotically optimal information efficiency, namely, the expected number of generated random bits per input bit is asymptotically close to the entropy of the source. However, only the original von Neumann algorithm has a `streaming property' - it operates on a single input bit at a time and it generates random bits when possible, alas, it does not have an optimal information efficiency. The main contribution of this paper is an algorithm that generates random bit streams from biased coins, uses bounded space and runs in expected linear time. As the size of the allotted space increases, the algorithm approaches the information-theoretic upper bound on efficiency. In addition, we discuss how to extend this algorithm to generate random bit streams from m-sided dice or correlated sources such as Markov chains.

研究の動機と目的

• 入力シーケンスの全量を待たずに、リアルタイムで偏りのあるコインから無作為ビットを生成するストリーミングアルゴリズムを開発すること。
• 空間が有界でかつ期待時間線形を維持しながら、情報効率が漸近的に最適（ソースのエントロピーに近づく）になるようにすること。
• アルファベットサイズの大きなソース（例：m面のサイコロ）や相関を持つソース（未知の遷移確率をもつマルコフ連鎖）を扱えるようにアルゴリズムを拡張すること。
• ボン・ニューマンの元来のアルゴリズムより優れた性能を達成しつつ、ストリーミング性（動的出力生成）を維持すること。
• 状態空間（木の深さ）を増やすことで、アルゴリズムの効率が情報理論的上限に収束することを示すこと。

提案手法

• アルゴリズムの内部状態を、{φ, H, T, 0, 1} からなる記号でラベル付けされた二分木（ステータスツリー）として表現し、入力のコイントスに応じた状態遷移を動的に制御する。
• 各入力ビットを処理する際、将来のランダムビット生成に役立つ情報を保持するルールに従い、ステータスツリーを更新することで、エントロピーの損失を避ける。
• 現在の状態に完全なペア（HT または TH）が検出された場合にのみランダムビットを生成する。これはボン・ニューマンの方法に類似しているが、高次の状態へ一般化されている。
• 各状態のマーカーの最後の出力（エグジット）を一時バッファに保持し、同じ状態の2回目のエグジットが観測されるまで、一般化されたランダムストリームアルゴリズムへの入力を遅延させる。
• 各状態のエグジットストリームに対して一般化されたランダムストリームアルゴリズムを独立に適用し、自然な生成順にビットをインターリーブすることで、単一の出力ストリームを構成する。
• ステータスツリーの深さを制限することで、空間使用量を制御し、深さを増すことで効率がエントロピーの上限に急速に近づくことを示す。

実験結果

リサーチクエスチョン

• RQ1 偏りのあるコインから、空間が有界でかつ漸近的に最適な情報効率を達成するストリーミングアルゴリズムを設計できるか？
• RQ2 ボン・ニューマンのストリーミング的手法を、バッチ処理を必要とせずに情報理論的最適性を達成するように一般化できるか？
• RQ3 ストリーミングランダムビット生成における、メモリサイズ（木の深さ）と情報効率のトレードオフは何か？
• RQ4 アルゴリズムをm面のサイコロや未知の遷移確率をもつマルコフ連鎖からランダムビットストリームを生成できるように拡張できるか？
• RQ5 相関を持つソースに対して理論的上限に達する効率を達成しつつ、ストリーミング性（動的かつリアルタイム出力）を維持できるか？

主な発見

• 提案されたランダムストリームアルゴリズムは、偏りのあるコインソースから独立かつ無作為なランダムビットストリームを生成し、ストリーミング性を満たす。入力の任意の接頭辞に対して、出力は全出力の接頭辞となる。
• アルゴリズムは漸近的に最適な情報効率を達成する。生成されたランダムビット1ビットあたりの期待入力ビット数は、出力ビット数が増加するにつれて 1/H(p) に収束する。ここで H(p) は偏りのあるコインのエントロピーである。
• ステータスツリーの深さを増やすことで、アルゴリズムの効率は情報理論的上限に急速に近づき、空間使用量は有界のまま維持される。
• アルゴリズムは期待線形時間で実行され、空間も有界であるため、リアルタイムシステムに実用的である。
• この手法はm面のサイコロに対しても一般化可能であり、情報効率は漸近的に最適のまま維持される。また、未知の遷移確率をもつマルコフ連鎖に対しても適用可能である。
• マルコフ連鎖の場合、各状態のエグジット列を独立に処理し、保留中のエグジットをバッファリングし、生成順に出力を統合することで、最適な効率で無作為ビットの単一ストリームを生成する。