[論文レビュー] Reducing the error of Monte Carlo Algorithms by Learning Control Variates

Brendan Tracey, David H. Wolpert|arXiv (Cornell University)|Jun 7, 2016

Mathematical Approximation and Integration被引用数 1

ひとこと要約

この論文は、追加のサンプリングを必要とせず、データサンプルから制御変数を学習することでモンテカルロ推定誤差を低減する後処理手法であるスタックドモンテカルロ（StackMC）の改善版を提案する。インサンプル／アウトオブサンプルの検証を適用し、複数のフィッティング関数および離散入力に拡張することで、重要度サンプリング、ラテンハイパーボリューム、準モンテカルロを含む多様なサンプリング戦略において顕著な分散低減が達成された。

ABSTRACT

Monte Carlo (MC) algorithms are an extremely widely-used technique to estimate expectations of functions f(x), especially in high dimensions. Control variates are a very powerful technique to reduce the error of such estimates, but in their conventional form rely on having an accurate approximation of f, a priori. Stacked Monte Carlo (StackMC) is a recently introduced technique designed to overcome this limitation by fitting a control variate to the data samples themselves. Done naively, forming a control variate to the data would result in overfitting, typically worsening the MC algorithm's performance. StackMC uses in-sample / out-sample techniques to remove this overfitting. Crucially, it is a post-processing technique, requiring no additional samples, and can be applied to data generated by any MC estimator. Our preliminary experiments demonstrated that StackMC improved the estimates of expectations when it was used to post-process samples produces by a simple sampling MC estimator. Here we substantially extend this earlier work. We provide an in-depth analysis of the StackMC algorithm, which we use to construct an improved version of the original algorithm, with lower estimation error. We then perform experiments of StackMC on several additional kinds of MC estimators, demonstrating improved performance when the samples are generated via importance sampling, Latin-hypercube and quasi-Monte Carlo sampling. We also show how to extend StackMC to combine multiple fitting functions, and how to apply it to discrete input spaces x.

研究の動機と目的

• 関数 f の事前知識を必要とする従来の制御変数の限界を克服し、データ駆動型の制御変数の学習を可能にする。
• 単純なデータベースの制御変数フィッティングによる過学習を回避し、標準モンテカルロ推定における性能の低下を是正する。
• スタックドモンテカルロ（StackMC）を単純なモンテカルロにとどまらず、重要度サンプリング、ラテンハイパーボリューム、準モンテカルロなどの高度なサンプリング手法に対応させる。
• 複数のフィッティング関数および離散入力空間への一般化を図り、適用範囲を拡大する。
• 追加のサンプルを必要とせず、理論的裏付けのある後処理手法として推定精度を向上させる。

提案手法

• インサンプルとアウトオブサンプルの分割を用いて、データ上で制御変数を学習しながら過学習を回避し、一般化を確保する。
• 正則化回帰フレームワークを適用し、観測されたサンプルに制御変数をフィットさせ、未知のデータにおける推定誤差を最小化する。
• 複数の制御変数モデルを組み合わせることで性能と精度を向上させる、マルチフィッティング関数拡張を導入する。
• 関数近似部の変更により、カテゴリカルまたは離散変数を扱えるようにスタックドモンテカルロフレームワークを離散入力空間に適応させる。
• 既存のモンテカルロサンプルに対してのみ作用する後処理パイプラインを採用し、再サンプリングや元の推定器の変更を一切不要とする。
• クロスバリデーション技術を活用してハイパーパrameterをチューニングし、異なるサンプリング方式にわたる安定した性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングや準モンテカルロなどのi.i.d.でないサンプリング手法を用いるモンテカルロ推定量において、StackMCを一般化して分散低減を達成できるか。
• RQ2 改善されたStackMCアルゴリズムの性能は、さまざまなサンプリング戦略においてベースラインの制御変数手法と比較してどのように異なるか。
• RQ3 標準の回帰ベースの制御変数が適用できない離散入力空間に対しても、この手法を拡張できるか。
• RQ4 複数のフィッティング関数を組み合わせることで、モンテカルロ推定の全体的な分散低減にどのような影響を与えるか。
• RQ5 インサンプル／アウトオブサンプルの検証戦略は、学習された制御変数のロバスト性と一般化能力を顕著に向上させるか。

主な発見

• 改善されたStackMC手法は、重要度サンプリング、ラテンハイパーボリューム、準モンテカルロを含む、すべてのテストされたサンプリング手法で顕著な分散低減を達成した。
• 複数のフィッティング関数への拡張により、特に高次元または複雑な関数空間において、よりロバストで正確な制御変数が得られた。
• 関数近似部の適応により、離散入力空間への一般化に成功し、組合せ的またはカテゴリカルな設定への応用が可能になった。
• インサンプル／アウトオブサンプルの検証戦略は過学習を効果的に防止し、単純なフィッティングに比べて性能を維持または向上させた。
• StackMCの後処理特性により、再サンプリングやサンプリングプロセスの変更なしに、任意の既存モンテカルロ推定量に普遍的に適用可能である。
• 実験的結果は、推定精度の一貫したかつ測定可能な向上を示しており、すべてのテストケースで平均二乗誤差が有意に低減された。