[論文レビュー] Convergence and efficiency of adaptive importance sampling techniques with partial biasing

Gersende Fort, Benjamin Jourdain+2 more|arXiv (Cornell University)|Oct 28, 2016

Theoretical and Computational Physics参考文献 54被引用数 5

ひとこと要約

本稿では、自己修復アンブレラサンプリングフレームワーク内での部分的バイアス化と改善された更新戦略を組み合わせることで、マルチモーダルな分布のサンプリングにおける収束性と効率性を向上させる、新しい適応的重要度サンプリング手法を提案する。この手法は、確率的近似スキームを用いて自由エネルギー重みを適応的に学習し、真の重みへの確実収束を保証するとともに、自由エネルギーの部分的バイアス化を活用することで推定子の分散を低減する。

ABSTRACT

We consider a generalization of the discrete-time Self Healing Umbrella Sampling method, which is an adaptive importance technique useful to sample multimodal target distributions. The importance function is based on the weights (namely the relative probabilities) of disjoint sets which form a partition of the space. These weights are unknown but are learnt on the fly yielding an adaptive algorithm. In the context of computational statistical physics, the logarithm of these weights is, up to a multiplicative constant, the free energy, and the discrete valued function defining the partition is called the collective variable. The algorithm falls into the general class of Wang-Landau type methods, and is a generalization of the original Self Healing Umbrella Sampling method in two ways: (i) the updating strategy leads to a larger penalization strength of already visited sets in order to escape more quickly from metastable states, and (ii) the target distribution is biased using only a fraction of the free energy, in order to increase the effective sample size and reduce the variance of importance sampling estimators. The algorithm can also be seen as a generalization of well-tempered metadynamics. We prove the convergence of the algorithm and analyze numerically its efficiency on a toy example.

研究の動機と目的

• 標準的なMCMC手法がメタ安定性に苦しむ高次元のマルチモーダル分布における効率的サンプリングの課題に対処すること。
• 重要度関数における自由エネルギーの部分的バイアス化を導入することで、適応的重要度サンプリングの収束性と分散低減を改善すること。
• 訪問済み状態に対するペナルティの増加を伴う修正された更新戦略を用いて、自己修復アンブレラサンプリングおよびウェルテンパードメタダイナミクス手法を一般化すること。
• 学習率およびバイアス関数に関する一般条件の下で、適応的アルゴリズムの理論的収束性を確立すること。
• トゥイ・エクサムプル上での数値的検証を通じて、提案手法の効率性向上と分散低減を示すこと。

提案手法

• 状態空間をd個の互いに素なストラタに分割し、各ストラタはxを{1,…,d}に写像する集団変数I(x)に関連付ける。
• 各ストラタの自由エネルギー重みθ(i)の推定値を用いて、ターゲット密度πを再重み付けすることで重要度サンプリング分布π_θを構築する。正規化定数はZ_θ = ∑_i θ_*(i)/θ(i)で与えられる。
• 学習率γ_n = γ / S_n^μまたはγ / g_α(S_n)を用いた確率的近似スキームにより、θ(n)を逐次的に更新する。ここでS_nはストラタへの累積訪問回数を追跡する。
• 自由エネルギーの一部のみをバイアスに使用する部分的バイアス化戦略を導入することで、有効サンプルサイズを増加させ、推定子の分散を低減する。
• 訪問済みストラタに対してペナルティ項を増加させる更新ルールを含め、メタ安定状態からの迅速な脱出を促進する。
• マルティンゲール技法とリャプノフ関数の議論を用いて収束性を証明し、θ(n)が真の重みθ_*(i)にほとんど確実に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 提案された部分的バイアス化を伴う適応的重要度サンプリング手法は、真の自由エネルギー重みへのほとんど確実な収束を達成するか？
• RQ2 訪問済み状態に対するペナルティを増加させる修正された更新戦略は、マルチモーダル分布における収束速度と混合性にどのように影響するか？
• RQ3 部分的バイアス化は、完全バイアス化と比較して、重要度サンプリング推定子の分散をどの程度低減するか？
• RQ4 ゆっくり減少する学習率を含む一般な学習率条件の下でも、この手法は理論的に正当化可能か？
• RQ5 有効サンプルサイズおよび平衡状態への収束という観点から、標準的な適応的サンプリング手法と比較して、この手法はどのように異なるか？

主な発見

• 学習率およびバイアス関数に関するやや厳しい条件のもとでも、部分的バイアス化を伴う場合でさえ、アルゴリズムは真の重みθ_*(i)にほとんど確実に収束する。
• 学習率がγ_n = γ / S_n^μ（μ ∈ (0,1)）の形である場合、正規化された累積訪問回数S_n^μ / nは、θ_*(i)/ρ(θ_*(i))の和の逆数に関連する定数にほとんど確実に収束する。
• 対数的学習率γ_n = γ / ln(1 + S_n)^{α/(1−α)}（α ∈ (1/2,1)）を用いる場合、正規化された対数累積回数(ln(1 + S_n))^{1/(1−α)} / nは、自由エネルギー重みを含む定数にほとんど確実に収束する。
• 部分的バイアス化戦略は、過剰バイアスを回避することで、有効サンプルサイズを著しく向上させ、重要度サンプリング推定子の分散を低減する。
• トゥイ・エクサムプルにおける数値結果から、標準的な適応的手法と比較して、提案手法の効率性向上とより速い収束が確認された。
• 理論的分析により、ゆっくり減少する学習率を用いても、エルゴディシティおよび収束性が保たれることを確認し、高次元設定におけるロバストネスを裏付けた。