[論文レビュー] Asymptotic optimality of adaptive importance sampling

Bernard Delyon, François Portier|arXiv (Cornell University)|Jun 4, 2018

Mathematical Approximation and Integration参考文献 31被引用数 14

ひとこと要約

この論文は、適応的重要度サンプリング（AIS）の漸近的最適性を確立し、初期に最適なサンプリング分布を既知として持つオラクル戦略の性能に収束することを証明している。重み付きAIS（wAIS）を導入し、初期段階の劣悪なサンプルを無視することで収束性を向上させ、資源の探索と活用の割り当て方に対する制限のない条件下でも、次元や割り当て方針にかかわらず理論的・実験的利点を示している。

ABSTRACT

Adaptive importance sampling (AIS) uses past samples to update the extit{sampling policy} $q_t$ at each stage $t$. Each stage $t$ is formed with two steps : (i) to explore the space with $n_t$ points according to $q_t$ and (ii) to exploit the current amount of information to update the sampling policy. The very fundamental question raised in this paper concerns the behavior of empirical sums based on AIS. Without making any assumption on the allocation policy $n_t$, the theory developed involves no restriction on the split of computational resources between the explore (i) and the exploit (ii) step. It is shown that AIS is asymptotically optimal : the asymptotic behavior of AIS is the same as some "oracle" strategy that knows the targeted sampling policy from the beginning. From a practical perspective, weighted AIS is introduced, a new method that allows to forget poor samples from early stages.

研究の動機と目的

• 一般条件下における適応的重要度サンプリング（AIS）の理論的漸近的最適性を確立すること。
• 探索と活用の間の割り当て方策 $n_t$ を制限しない条件下で、AISにおける経験的和の挙動を分析すること。
• 初期の劣悪なサンプルを無視する新しい重み付きAIS（wAIS）手法を開発・正当化すること。
• AISが初期に最適なサンプリング方策を既知とするオラクル戦略と同等の性能を達成することを示すこと。

提案手法

• AISは多段階アルゴリズムとして定式化される：各段階 $t$ において、現在の方策 $q_{t-1}$ から $n_t$ 個のサンプルが抽出され、被積分関数の重み付き和を用いて推定値 $I_t$ が更新される。
• 過去のサンプルを用いて各段階で方策 $q_t$ を適応的に更新するが、パラメトリックな仮定は必要としない。
• 重み付きAIS（wAIS）を導入し、初期段階の低品質なサンプルの寄与を低減する再重み付けスキームを用いることで収束性を向上させる。
• 理論的分析により、AISの漸近的分散が最適な $q$ を完全に事前に知っているオラクル戦略と一致することが示された。
• 標準的なモンテカルロ積分とベイズ推定問題への応用が行われ、推定器はそれに応じて調整されている。
• 数値実験では、ガウス型のターゲットとスーパーポジティブ・スチューデントt分布の提案族を用い、平均はGMMに基づくルールで更新され、wAIS、標準AIS、適応的MH、およびオラクルISを比較した。

実験結果

リサーチクエスチョン

• RQ1 適応的重要度サンプリングは、最適なサンプリング方策を初期に完全に知っているオラクル戦略と同等の性能を達成するという意味で漸近的最適性を達成するか？
• RQ2 割り当て方策 $n_t$ の選択が、$n_t$ がゆっくりまたは不規則に増加する場合にAISの収束にどのように影響するか？
• RQ3 初期の劣悪なサンプルを無視する重み付きAISの変種は、標準AISと比較して収束性と分散の低減を実現できるか？
• RQ4 高次元設定において、AISの性能は次元数にどのようにスケーリングするか？

主な発見

• AISは漸近的に最適である：長期的な挙動は、初期に最適なサンプリング方策を既知として持つオラクル戦略と一致する。
• 数値実験において、重み付きAIS（wAIS）は標準AISを著しく上回り、特に高次元および固定総サンプル数の設定で顕著である。
• 経験的結果から、方策の更新頻度を高める（$T$ を大きくする）ことで収束速度が向上することが示され、$n_t$ の成長に関する制限を課さない理論的枠組みを支持する。
• 固定初期提案スケール（$\sigma_0 = 5$）を用いたwAISは、真の $\sigma_* = 1$ を使用する「オラクル」法よりも優れている。これは、推定の不安定性のため、真の最適提案分布が常に実際には最良ではないことを示している。
• 次元 $d = 2, 4, 8, 16$ にわたり、wAISは標準AISおよび適応的MHと比較して一貫した改善を示し、ロバスト性を保っている。
• 理論的結果は $n_t$ の成長率に関する仮定を一切必要とせず、実務において非漸近的・固定割り当て方策の使用を正当化している。