[論文レビュー] Sampling with arbitrary precision.

Luc Devroye, Claude Gravel|arXiv (Cornell University)|Feb 9, 2015

Markov Chains and Monte Carlo Methods参考文献 10被引用数 7

ひとこと要約

本稿では、独立な公平なコインを用いて任意の精度で連続確率変数を生成する手法を提案し、正確性を測るための Wasserstein $L_\infty$ 距離を導入する。期待されるコインの必要数に対する普遍的な下界を確立し、定数要因までこの下界に一致するアルゴリズムを提示する。特に、バッチ処理によってその定数要因を除去できることを示す。

ABSTRACT

We study the problem of the generation of a continuous random variable when a source of independent fair coins is available. We first motivate the choice of a natural criterion for measuring accuracy, the Wasserstein $L_\infty$ metric, and then show a universal lower bound for the expected number of required fair coins as a function of the accuracy. In the case of an absolutely continuous random variable with finite differential entropy, several algorithms are presented that match the lower bound up to a constant, which can be eliminated by generating random variables in batches.

研究の動機と目的

• 公平なコインを用いた連続確率変数生成の正確性を測る自然かつ厳密な基準を確立すること。
• 所望の正確性に対して連続確率変数を生成するために必要な公平なコインの期待数に対する普遍的な下界を導出すること。
• 絶対連続確率変数で微分エントロピーが有限である場合に、この下界に定数要因まで一致する効率的なアルゴリズムを設計すること。
• 連続確率変数をバッチで生成することで、この下界における定数要因を除去できることを示すことにより、漸近的効率を向上させること。

提案手法

• 正確性基準として Wasserstein $L_\infty$ 距離を採用し、累積分布関数間の essentially 最大距離を測定する。
• 所望の正確性に応じた公平なコインの期待必要数を、Wasserstein $L_\infty$ 距離に基づいて関数として定式化する。
• 公平なコインの系列を用いて逆変換サンプリングをシミュレートするアルゴリズムを構築し、指定された距離基準内での精度を保証する連続確率変数を生成する。
• バッチ戦略を用いて漸近的境界における定数要因を低減し、追加のオーバーヘッドなしに下界に一致するようにアルゴリズムを設計する。
• ターゲット分布の有限な微分エントロピーを活用し、シミュレーションプロセスの複雑さを制限する。
• 提案されたアルゴリズムが理論的下界に定数要因まで一致することを証明し、バッチ生成の極限においてその定数要因が消滅することを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の精度で連続確率変数を生成するために必要な公平なコインの期待数の最適値は何か？
• RQ2 Wasserstein $L_\infty$ 距離は、この文脈における正確性測定の自然かつ効果的な基準としてどのように機能するか？
• RQ3 定数要因まで下界に一致するアルゴリズムを構築することは可能か？
• RQ4 連続確率変数をバッチで生成することで、境界における定数要因をどの程度まで除去できるか？
• RQ5 ターゲット分布の有限な微分エントロピーは、サンプリングプロセスの効率にどのように影響を与えるか？

主な発見

• Wasserstein $L_\infty$ 距離を用いて、精度 $\varepsilon$ で連続確率変数を生成するための公平なコインの期待必要数に対する普遍的な下界が確立された。
• 微分エントロピーが有限である絶対連続確率変数に対しては、この下界に定数要因まで一致するアルゴリズムが構築された。
• 連続確率変数をバッチで生成することで、境界における定数要因を漸近的に除去でき、極限において最適効率が達成された。
• Wasserstein $L_\infty$ 距離は、公平なコインに基づくサンプリング文脈において、自然かつ効果的な正確性基準を提供する。
• 提案されたアルゴリズムは、微分エントロピーが有限である広範な分布クラスに対して、期待されるコイン使用量を最適化する。
• バッチ生成により、漸近的境界における定数要因が除去され、極限において情報理論的に最適な方法となることが示された。