[論文レビュー] Control functionals for Monte Carlo integration

Chris J. Oates, Mark Girolami+1 more|arXiv (Cornell University)|Oct 9, 2014

Markov Chains and Monte Carlo Methods参考文献 85被引用数 10

ひとこと要約

この論文は、スティーブンの恒等式を用いて勾配情報を活用する非パラメトリックな制御変数、すなわち制御関数形を導入する。これにより、モンテカルロ積分においてスーパー・ルートn収束を達成する。スコア関数勾配からなるカーネルベースの関数空間を構築することで、分散を著しく低減でき、標準モンテカルロ法と比較して、同じ精度に達するためのサンプル数を、しばしば1桁から数桁も少なくする。これは、ターゲット密度が正規化されていなくても成立する。

ABSTRACT

A non-parametric extension of control variates is presented. These leverage gradient information on the sampling density to achieve substantial variance reduction. It is not required that the sampling density be normalised. The novel contribution of this work is based on two important insights; (i) a trade-off between random sampling and deterministic approximation and (ii) a new gradient-based function space derived from Stein's identity. Unlike classical control variates, our estimators achieve super-root-$n$ convergence, often requiring orders of magnitude fewer simulations to achieve a fixed level of precision. Theoretical and empirical results are presented, the latter focusing on integration problems arising in hierarchical models and models based on non-linear ordinary differential equations.

研究の動機と目的

• 複雑なモデルにおいて、シミュレーションや評価が高価な場合に生じる標準モンテカルロ推定量の遅いルートn収束を改善すること。
• 不偏で、正規化されていない密度関数と互換性があり、シミュレーションコードを変更せずに後から適用可能な分散低減手法を開発すること。
• スティーブンの恒等式から導かれる非パラメトリック関数形を用いて、モンテカルロ積分のスーパー・ルートn収束レートを達成すること。
• 階層モデルやODEベースのモデルにおいて、理論的にも根拠があり、実験的にも有効な、一般化された分散低減のフレームワークを提供すること。

提案手法

• スティーブンの恒等式を用いて、ターゲット密度のスコア関数から再生核ヒルベルト空間（RKHS）を構築し、非パラメトリックな制御変数を可能にする。
• データに依存する関数空間上で補間問題を定式化し、正則化された関数ノルムを最小化することで制御関数形を推定する。
• 制御関数形推定量は、カーネル行列と正則化を含む連立一次方程式を解いて決定される重み付き関数評価の和として得られる。
• RKHSの構造とカーネルの再現性の性質を活用することで、推定量は不偏であり、スーパー・ルートn収束を達成する。
• 正規化定数を必要とせず、対数密度の勾配のみに依存するため、正規化されていない密度関数に対しても適用可能である。
• 理論的分析により、正則性条件のもとで平均二乗誤差が $O(n^{-1})$ に減少することが示され、標準モンテカルロ法を上回る。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック形式を超えて、モンテカルロ積分におけるスーパー・ルートn収束を達成するための制御変数を非パラメトリックに拡張できるか？
• RQ2 サンプリング密度からの勾配情報を用いて、正規化を必要とせずに非パラメトリックな制御変数を構築する方法は何か？
• RQ3 一般の正則性条件下で、提案された制御関数形推定量の理論的収束レートは何か？
• RQ4 複雑なモデルにおいて、標準モンテカルロ法や他の分散低減手法と比較して、実験的にどのように性能を発揮するか？
• RQ5 この手法は、シミュレーションプロセスを変更せずに、事前に得られたサンプルに対して後から適用可能か？

主な発見

• 正則性条件下で、制御関数形推定量は $O(n^{-1})$ の平均二乗誤差の減少を達成し、これはスーパー・ルートn収束に対応する。
• 標準モンテカルロ法と比較して、分散を著しく低減でき、同じ精度に達するためのサンプル数を、しばしば1桁から数桁も少なくする。
• 推定量は不偏であり、正規化されていない密度関数にも適用可能であるため、ベイズ推論や複雑なモデルに適している。
• 実験的結果では、階層モデルや非線形ODEに基づくモデルにおいて顕著な分散低減が確認された。
• 理論的分析により、誤差の上限はRKHS内での関数のノルムとカーネルに基づく重み行列に依存し、明示的な式が得られている。
• この手法は後から適用可能（post-hoc）であり、元のシミュレーションコードを変更せずに、サンプルを取得した後に適用可能である。