[論文レビュー] Monte Carlo and Quasi-Monte Carlo Density Estimation via Conditioning

Pierre L’Ecuyer, Florian Puchhammer+1 more|arXiv (Cornell University)|Jun 11, 2019

Statistical Methods and Inference参考文献 2被引用数 4

ひとこと要約

本稿では、条件付きモンテカルロを用いて、非パラメトリック手法よりも収束が速い不偏密度推定器を生成する、新しいモンテカルロおよび準モンテカルロ密度推定法を提案する。条件付き独立性とランダム化された準モンテカルロを活用することで、収束速度が向上し、平均統合二乗誤差が低減される。特に、サンプリングを制御可能なシミュレーション設定において顕著な効果を示す。

ABSTRACT

Estimating the unknown density from which a given independent sample originates is more difficult than estimating the mean, in the sense that for the best popular non-parametric density estimators, the mean integrated square error converges more slowly than at the canonical rate of $\mathcal{O}(1/n)$. When the sample is generated from a simulation model and we have control over how this is done, we can do better. We examine an approach in which conditional Monte Carlo yields, under certain conditions, a random conditional density which is an unbiased estimator of the true density at any point. By averaging independent replications, we obtain a density estimator that converges at a faster rate than the usual ones. Moreover, combining this new type of estimator with randomized quasi-Monte Carlo to generate the samples typically brings a larger improvement on the error and convergence rate than for the usual estimators, because the new estimator is smoother as a function of the underlying uniform random numbers.

研究の動機と目的

• 標準的な非パラメトリック密度推定法が通常O(1/n)の速度で収束するという問題に取り組む。
• ユーザーがサンプリングメカニズムを制御できるシミュレーション実験における密度推定の精度を向上させる。
• 条件付きモンテカルロを用いて不偏密度推定器を生成することで、より速い収束を実現する手法を開発する。
• 条件付きモンテカルロとランダム化された準モンテカルロ（RQMC）を組み合わせ、収束速度をさらに向上させ、誤差を低減する。
• 実世界のシミュレーション例において、古典的推定器と比較して平均統合二乗誤差と収束速度の面で優れた性能を示すことを実証する。

提案手法

• 任意の点における真の密度に対して不偏となるように、条件付きモンテカルロを用いて確率的条件付き密度推定器を構築する。
• 条件付き密度推定器の独立な再現を生成し、それらを平均化して最終的な密度推定器を形成する。
• ランダム化された準モンテカルロ（RQMC）を用いて、元となる一様乱数を生成し、条件付き密度推定器の滑らかさを活用する。
• 一様乱数を変数とする条件付き密度推定器の滑らかさを活用することで、RQMCによるより速い収束を実現する。
• 低不均一性を持つ格子点およびソボル点セットに加え、順序依存重みを用いてRQMCの性能を向上させる。
• 条件付き実現値上でカーネル密度推定や類似の非パラメトリック手法を用いて密度を推定し、条件付けによる分散低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 条件付きモンテカルロを用いて、古典的非パラメトリック手法よりも収束が速い不偏密度推定器を構築可能か？
• RQ2 条件付きモンテカルロとRQMCの組み合わせが、密度推定における収束速度の向上と平均統合二乗誤差の低減にどのように寄与するか？
• RQ3 一様乱数を変数とする条件付き密度推定器の滑らかさが、RQMCの性能向上にどの程度寄与するか？
• RQ4 実用的なシミュレーション例において、本手法が標準モンテカルロおよび準モンテカルロ密度推定器と比較して、誤差と収束速度の面でどのように優れているか？
• RQ5 本手法は、信頼区間の品質を向上させることで、分位点および期待ショートフォールの推定に効果的に応用可能か？

主な発見

• 提案された条件付き密度推定器（CDE）は、通常O(1/n)で収束する標準的な非パラメトリック推定器よりも速い収束速度を達成する。
• RQMCを用いることで、ネットワーク信頼性の例ではn = 2^19において統合分散（IV）が約16倍低減され、顕著な誤差低減が確認された。
• 格子点およびソボル点における実験的収束速度ˆνは約-1.2に改善され、サンプルサイズの増加に伴う誤差の急速な減少が示された。
• アジアオプションの例では、標準MCと比較してRQMCベースのCDE法がIVを顕著に低減し、log-IVがlog nに対してより急激に減少した。
• 分位点におけるより正確な密度推定により、分位点および期待ショートフォールの推定が向上し、信頼区間の品質が向上した。
• 条件付き密度推定器は一様乱数を変数とする関数として滑らかであるため、RQMCの利点がさらに顕著に現れ、特に条件付き密度が十分に滑らかである場合には顕著である。