[論文レビュー] Convergence rates for optimised adaptive importance samplers

Ömer Deniz Akyıldız, Joaquı́n Mı́guez|arXiv (Cornell University)|Mar 28, 2019

Mathematical Approximation and Integration被引用数 3

ひとこと要約

本稿では、凸最適化を用いて、指数型分布族の提案分布とターゲット分布の間のカイ二乗発散を反復的に最小化することで、最適化された逐次的重要度サンプリング（OAIS）という、適応的モンテカルロ法のクラスを導入する。著者らは、反復回数 $t$ とサンプル数 $N$ の両方に明示的に依存する非漸近的平均二乗誤差（MSE）の上限を導出しており、ターゲット分布が指数型分布族に属する場合、OAISが最適な $O(1/ar{N})$ 収束率を達成することを証明している。また、反復回数 $t$ における収束率も明確に特定している。

ABSTRACT

Adaptive importance samplers are adaptive Monte Carlo algorithms to estimate expectations with respect to some target distribution which extit{adapt} themselves to obtain better estimators over a sequence of iterations. Although it is straightforward to show that they have the same $\mathcal{O}(1/\sqrt{N})$ convergence rate as standard importance samplers, where $N$ is the number of Monte Carlo samples, the behaviour of adaptive importance samplers over the number of iterations has been left relatively unexplored. In this work, we investigate an adaptation strategy based on convex optimisation which leads to a class of adaptive importance samplers termed extit{optimised adaptive importance samplers} (OAIS). These samplers rely on the iterative minimisation of the $\chi^2$-divergence between an exponential-family proposal and the target. The analysed algorithms are closely related to the class of adaptive importance samplers which minimise the variance of the weight function. We first prove non-asymptotic error bounds for the mean squared errors (MSEs) of these algorithms, which explicitly depend on the number of iterations and the number of samples together. The non-asymptotic bounds derived in this paper imply that when the target belongs to the exponential family, the $L_2$ errors of the optimised samplers converge to the optimal rate of $\mathcal{O}(1/\sqrt{N})$ and the rate of convergence in the number of iterations are explicitly provided. When the target does not belong to the exponential family, the rate of convergence is the same but the asymptotic $L_2$ error increases by a factor $\sqrt{ ho^\star} > 1$, where $ ho^\star - 1$ is the minimum $\chi^2$-divergence between the target and an exponential-family proposal.

研究の動機と目的

• 反復回数 $t$ とモンテカルロ・サンプル数 $N$ の両方に明示的に依存する誤差上限を導出することにより、適応的重要度サンプリングの理論的分析のギャップを埋める。
• 提案分布とターゲット分布の間のカイ二乗発散を最小化する新しい適応的重要度サンプリングのクラス、最適化された適応的重要度サンプリング（OAIS）を構築する。
• 計算的負荷（反復回数）と統計的精度（サンプル数）のトレードオフを明らかにする、OAISの非漸近的平均二乗誤差（MSE）上限を確立する。
• 特にターゲット分布が指数型分布族に属さない場合に、OAISの収束速度を $t$ と $N$ の両面から特徴づける。
• 凸最適化を用いた理論的根拠を提示し、重要度サンプリングにおける分散最小化戦略の有効性を裏付ける。

提案手法

• ターゲット分布と指数型分布族の提案分布の間のカイ二乗発散を最小化することで、提案分布の適応を凸最適化問題として定式化する。
• 重要度サンプリング推定量の分散がカイ二乗発散に比例することを活用し、凸最適化手法を適用可能にする。
• カイ二乗発散の勾配の不偏推定量を用いた確率的勾配降下法により、反復的に提案分布のパラメータ $\theta_t$ を更新する反復アルゴリズムを設計する。
• 収束を保証するため、減少するステップサイズ $\gamma_k = \alpha / \sqrt{k}$ を用いた射影付き確率的勾配降下法を適用する。
• 収束性を向上させるために、過去のパラメータの平均 $\bar{\theta}_t = \frac{1}{t} \sum_{k=0}^{t-1} \theta_k$ を最終的な提案分布として用いる。
• 凸最適化と集中不等式の結果を活用し、推定量の期待MSEに対する非漸近的上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 反復回数 $t$ とサンプル数 $N$ の両方を考慮した場合、適応的重要度サンプリングの非漸近的収束速度（平均二乗誤差：MSE）はどのようになるか？
• RQ2 ターゲット分布が指数型分布族に属する場合、OAISは標準的重要度サンプリングと比べてどのように性能を発揮するか？
• RQ3 ターゲット分布が指数型分布族に属さない場合、収束速度と漸近的誤差はどのように変化するか？
• RQ4 カイ二乗発散を適応的重要度サンプリングの原理的目的関数として用いることは可能か？また、その最小化は最適な収束速度をもたらすか？
• RQ5 パラメータ推定値 $\theta_t$ が最適値 $\theta^*$ に収束する速度はどの程度か？ そして、その収束速度は推定量の全体的なMSEにどのように影響するか？

主な発見

• OAIS推定量の非漸近的平均二乗誤差（MSE）は、$ \frac{c_\phi \rho(\theta_t)}{N} $ で上限づけられる。ここで $ \rho(\theta_t) $ は提案分布とターゲット分布の間のカイ二乗発散を表す。
• ターゲット分布が指数型分布族に属する場合、OAISのL2誤差は最適な収束速度 $ O(1/\sqrt{N}) $ に収束し、反復回数 $t$ における収束速度が明示的に $ O(1/\sqrt{t}) $ として特定される。
• ターゲットが指数型分布族に属さない場合、漸近的L2誤差は $ \sqrt{\rho^*} > 1 $ の要因で増加する。ここで $ \rho^* - 1 $ は、ターゲットと任意の指数型分布族の提案分布との間の最小カイ二乗発散を表す。
• 平均パラメータ $ \bar{\theta}_t $ の期待誤差は、$ \mathbb{E}[\rho(\bar{\theta}_t) - \rho^*] \leq \frac{C}{\sqrt{t}} $ を満たす。ここで $ C $ は初期距離と勾配推定のノイズに依存する。
• コンパクトなパラメータ空間と重み関数の2階モーメントのリプシッツ連続性といった弱い正則性条件のもとで、パラメータ推定値 $ \theta_t $ が最適値 $ \theta^* $ に収束することが保証される。
• 理論的枠組みにより、重要度サンプリングにおける分散最小化戦略の有効性が裏付けられ、ターゲットが指数型分布族に属する場合、このような手法が最良の可能収束速度 $ O(1/\sqrt{N}) $ を達成することが示された。