[論文レビュー] Fast inverse transform sampling in one and two dimensions

Sheehan Olver, Alex Townsend|arXiv (Cornell University)|Jul 4, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用数 34

ひとこと要約

本稿では、適応的チェビシェフ多項式近似と低ランク関数近似を用いた、1次元および2次元確率分布における高速で頑健な逆変換サンプリングアルゴリズムを提示する。近似誤差が機械精度に近い精度に達し、関数評価回数を削減するとともに並列処理が容易になるため、特に評価コストの高い分布に対して、棄却サンプリングやスライスサンプリングを凌駕する。

ABSTRACT

We develop a computationally efficient and robust algorithm for generating pseudo-random samples from a broad class of smooth probability distributions in one and two dimensions. The algorithm is based on inverse transform sampling with a polynomial approximation scheme using Chebyshev polynomials, Chebyshev grids, and low rank function approximation. Numerical experiments demonstrate that our algorithm outperforms existing approaches.

研究の動機と目的

• 一般の確率分布に対して逆変換サンプリングが非効率であるという従来の認識を克服すること。
• 滑らかでブラックボックス型の確率分布に対して、頑健かつ計算的に効率的な1次元および2次元のサンプリング手法を開発すること。
• 多項式近似と低ランク構造を活用することで、最小限の関数評価回数で高精度なサンプリングを実現すること。
• 大規模なサンプリングタスクに適したスケーラブルで並列処理可能なアルゴリズムを提供すること。

提案手法

• 関数評価を高速化するため、高速コサイン変換を用いて安定かつ高速に計算可能なチェビシェフグリッド上での確率密度関数（PDF）のチェビシェフ多項式近似を実施する。
• 係数の減衰が機械精度に達するまで多項式次数を段階的に増加させる適応的リファインメントを採用し、累積分布関数（CDF）の高精度を保証する。
• 逆関数を直接計算する代わりに、一対一対応（bijection）法を用いてCDFを点ごとに逆算することで、収束の頑健性を確保する。
• 2次元への拡張には、2変数CDFの低ランク近似を採用し、計算コストと記憶領域を削減する。
• ブラックボックスアプローチを採用：記号的変換や特別な性質を必要とせず、PDFの点での評価と区間の境界値のみを入力とすればよい。
• 近似されたCDFに基づいて逆変換サンプリングによりサンプルを生成し、近似後は元のPDFは破棄する。

実験結果

リサーチクエスチョン

• RQ1 一般の滑らかでブラックボックス型の確率分布に対して、逆変換サンプリングを効率的かつ頑健に実現できるか？
• RQ2 チェビシェフ多項式近似は、CDFの計算と逆算の精度と速度をどのように向上させられるか？
• RQ3 低ランク近似技術を用いることで、滑らかな2変数分布における効率的な2次元逆変換サンプリングが可能か？
• RQ4 本手法は、棄却サンプリングやスライスサンプリングと比較して、性能と関数評価回数の点でどのように差をつけるか？
• RQ5 アルゴリズムは、大規模なサンプリングタスクにおいてどの程度並列化可能か？

主な発見

• 1次元において、本手法はMatlabのスライスサンプリング実装を上回り、特にω ≥ 30のsech(ωx)分布では顕著な高速化が達成された。
• sech(ωx)分布において、逆変換法は棄却サンプリングと比較して関数評価回数を10分の1に削減した。
• 本手法の計算コストはサンプルサイズにかかわらずほぼ一定であるのに対し、棄却サンプリングは1サンプルあたりのコストが無限大に発散する可能性がある。
• チェビシェフ近似の超代数的収束性のおかげで、本手法は頑健かつ機械精度に近い精度に収束する。
• CDFの表現がコンactであるため、並列処理が容易であり、分散型のサンプリングにおいてローカルに保存可能である。
• 適切な変換と近似スキームを用いることで、本手法は区分的滑らかで特異的、あるいは代数的減衰型の分布へも一般化可能である。