[論文レビュー] Adaptive Importance Sampling via Stochastic Convex Programming

Ernest K. Ryu, Stephen Boyd|arXiv (Cornell University)|Dec 16, 2014

Markov Chains and Monte Carlo Methods参考文献 34被引用数 19

ひとこと要約

本稿では、指数型分布族内の反復的なサンプリング分布の改善を可能にする、確率的凸最適化を用いた適応的重要度サンプリング手法 Convex AdaMC を提案する。分散関数の自然パラメータ空間における凸性を活用することで、漸近的に最適な分散を保証し、弱い条件下でも真の積分への収束を中央極限定理を用いて証明する。

ABSTRACT

We show that the variance of the Monte Carlo estimator that is importance sampled from an exponential family is a convex function of the natural parameter of the distribution. With this insight, we propose an adaptive importance sampling algorithm that simultaneously improves the choice of sampling distribution while accumulating a Monte Carlo estimate. Exploiting convexity, we prove that the method's unbiased estimator has variance that is asymptotically optimal over the exponential family.

研究の動機と目的

• 高次元モンテカルロ積分における最適な重要度サンプリング分布の選択という課題に取り組む。
• 標準的重要な度サンプリングにおける不変通積分のための最適な提案分布の計算が困難であるという問題を克服する。
• 同時にターゲット積分の推定を実行しながら、サンプリング効率を向上させるオンラインで適応的なアルゴリズムを開発する。
• 指数型分布族における分散の凸性を活用し、証明可能に最適な収束を実現する。
• 弱い正則性条件のもとで、推定量の収束性と漸近正規性に関する理論的保証を提供する。

提案手法

• 指数型分布における自然パラメータの関数として重要度サンプリングの分散を定式化する。
• この凸分散関数をオンラインで最小化するために確率的勾配降下法を用い、反復的にサンプリング分布を更新する。
• 逐次的に更新された提案分布からのサンプルを蓄積する不偏モンテカルロ推定量を維持する。
• サンプリング分布を $ f_\theta(x) = \exp(\theta^T T(x) - A(\theta)) h(x) $ と定義する。ここで $ \theta $ は自然パラメータである。
• 分散関数の凸性を活用し、マルティングール中心極限定理を用いて漸近正規性を保証することで収束を確保する。
• アルゴリズムの推定量が指数型分布族全体で漸近的に最適な分散を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 オンライン最適化を用いて、指数型分布族内で重要度サンプリング推定量の分散を効率的に最小化できるか。
• RQ2 過去のサンプルに基づいて提案分布を更新する適応的アルゴリズムは、漸近的に最適な分散を達成できるか。
• RQ3 ノイズを含むサンプルしか入手できない状況でも、確率的勾配降下法を分散関数の最小化に適用できるか。
• RQ4 この適応的設定において、推定量の収束性と漸近分布に関する理論的保証をどの程度確立できるか。
• RQ5 どのような条件下で、適応的推定量が指数型分布族内で可能な最小の分散を達成するか。

主な発見

• 重要度サンプリング推定量の分散は、指数型分布族の自然パラメータの関数として凸であるため、効率的な最適化が可能である。
• 提案された Convex AdaMC アルゴリズムは、分散関数の凸性のおかげで、指数型分布族全体で漸近的に最適な分散を達成する。
• 推定量は不偏であり、平均がゼロで分散が最適分散 $ V^* $ に等しい正規乱数に分布収束する。
• アルゴリズムの期待値における収束速度は $ \mathcal{O}(1/\sqrt{n}) $ であり、標準モンテカルロ法の速度と一致するが、漸近的分散が小さい。
• マルティングール中心極限定理を適用して漸近正規性を証明するが、その条件として四次モーメント関数の上界が有限であること必要である。
• この方法により、推定量の分散が確率的に最適値 $ V^* $ に収束することが保証され、バイアスおよび収束に関する理論的保証が得られる。