[论文解读] Convergence and efficiency of adaptive importance sampling techniques with partial biasing

Gersende Fort, Benjamin Jourdain+2 more|arXiv (Cornell University)|Oct 28, 2016

Theoretical and Computational Physics参考文献 54被引用 5

一句话总结

本文提出了一种新颖的自适应重要性采样方法，通过在自愈伞采样框架中结合部分偏置与改进的更新策略，提升了多模态分布采样中的收敛性和效率。该方法利用随机逼近方案自适应地学习自由能权重，确保几乎必然收敛至真实权重，并通过自由能的部分偏置降低估计器的方差。

ABSTRACT

We consider a generalization of the discrete-time Self Healing Umbrella Sampling method, which is an adaptive importance technique useful to sample multimodal target distributions. The importance function is based on the weights (namely the relative probabilities) of disjoint sets which form a partition of the space. These weights are unknown but are learnt on the fly yielding an adaptive algorithm. In the context of computational statistical physics, the logarithm of these weights is, up to a multiplicative constant, the free energy, and the discrete valued function defining the partition is called the collective variable. The algorithm falls into the general class of Wang-Landau type methods, and is a generalization of the original Self Healing Umbrella Sampling method in two ways: (i) the updating strategy leads to a larger penalization strength of already visited sets in order to escape more quickly from metastable states, and (ii) the target distribution is biased using only a fraction of the free energy, in order to increase the effective sample size and reduce the variance of importance sampling estimators. The algorithm can also be seen as a generalization of well-tempered metadynamics. We prove the convergence of the algorithm and analyze numerically its efficiency on a toy example.

研究动机与目标

• 解决高维多模态分布中标准MCMC方法因亚稳态而效率低下的挑战。
• 通过在重要性函数中引入自由能的部分偏置，改进自适应重要性采样中的收敛性与方差减少。
• 通过引入增强已访问状态惩罚的改进更新策略，推广自愈伞采样与稳态元动力学方法。
• 在学习率与偏置函数的一般条件下，建立自适应算法的理论收敛性。
• 通过一个简单示例的数值实验，展示所提方法在效率与方差减少方面的优越性。

提出的方法

• 该方法将状态空间划分为d个互不相交的层，每层与一个集体变量I(x)相关联，将x映射至{1,…,d}。
• 通过使用各层的估计权重θ(i)对目标密度π进行重加权，构建重要性采样分布π_θ，其中归一化常数为Z_θ = ∑_i θ_*(i)/θ(i)。
• 算法通过随机逼近方案自适应地更新θ(n)，学习率形式为γ_n = γ / S_n^μ 或 γ / g_α(S_n)，其中S_n记录各层的累计访问次数。
• 通过仅使用部分自由能作为偏置，引入部分偏置策略，从而增加有效样本量并降低估计器的方差。
• 更新规则中包含一个惩罚项，对已访问层的惩罚随访问次数增加而增大，从而促进更快逃离亚稳态。
• 利用鞅方法与李雅普诺夫函数论证，证明了θ(n)以几乎必然收敛至真实权重θ_*(i)。

实验结果

研究问题

• RQ1 所提出的结合部分偏置的自适应重要性采样方法是否能实现对真实自由能权重的几乎必然收敛？
• RQ2 更新策略中对已访问状态增加惩罚的改进机制，如何影响多模态分布中收敛速度与混合性能？
• RQ3 与完全偏置相比，部分偏置在多大程度上降低了重要性采样估计器的方差？
• RQ4 该方法在一般学习率条件下（包括缓慢衰减的学习率）是否具有理论合理性？
• RQ5 在有效样本量与趋于平衡的收敛性方面，该方法与标准自适应采样技术相比有何数值表现？

主要发现

• 在学习率与偏置函数的温和条件下，即使采用部分偏置，算法仍能以几乎必然收敛至真实权重θ_*(i)。
• 当学习率形式为γ_n = γ / S_n^μ且μ ∈ (0,1)时，归一化的累计访问次数S_n^μ / n以几乎必然收敛至与θ_*(i)/ρ(θ_*(i))之和的倒数相关的常数。
• 当采用对数学习率γ_n = γ / ln(1 + S_n)^{α/(1−α)}且α ∈ (1/2,1)时，归一化的对数累计访问次数(ln(1 + S_n))^{1/(1−α)} / n以几乎必然收敛至一个包含自由能权重的常数。
• 部分偏置策略显著提高了有效样本量，并通过避免过度偏置降低了重要性采样估计器的方差。
• 在简单示例上的数值结果证实了该方法在效率与收敛速度方面优于标准自适应方法。
• 理论分析表明，即使在缓慢衰减的学习率下，该方法仍能保持遍历性与收敛性，确保在高维设置下的鲁棒性。