[论文解读] Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation

Valentin De Bortoli, Alain Durmus+2 more|arXiv (Cornell University)|Jun 28, 2019

Blind Source Separation Techniques被引用 4

一句话总结

本文提出了一种名为随机优化通过未调整的朗之万（SOUL）的新方法，用于在高维设置下高效地进行最大边际似然估计和经验贝叶斯估计。通过用未调整的朗之万算法替代传统随机近似（SA）中的马尔可夫链蒙特卡洛（MCMC）核，SOUL确保了几何遍历性并提供了明确的收敛保证，从而在似然函数难以计算的复杂模型中实现了可扩展的、理论上有保障的优化。

ABSTRACT

Stochastic approximation methods play a central role in maximum likelihood estimation problems involving intractable likelihood functions, such as marginal likelihoods arising in problems with missing or incomplete data, and in parametric empirical Bayesian estimation. Combined with Markov chain Monte Carlo algorithms, these stochastic optimisation methods have been successfully applied to a wide range of problems in science and industry. However, this strategy scales poorly to large problems because of methodological and theoretical difficulties related to using high-dimensional Markov chain Monte Carlo algorithms within a stochastic approximation scheme. This paper proposes to address these difficulties by using unadjusted Langevin algorithms to construct the stochastic approximation. This leads to a highly efficient stochastic optimisation methodology with favourable convergence properties that can be quantified explicitly and easily checked. The proposed methodology is demonstrated with three experiments, including a challenging application to high-dimensional statistical audio analysis and a sparse Bayesian logistic regression with random effects problem.

研究动机与目标

• 解决现有随机近似（SA）方法在涉及难以计算似然函数的高维问题中的可扩展性局限。
• 克服在SA方案中使用高维MCMC核时面临的理论与方法论挑战，特别是由于几何遍历性和校准困难所致。
• 开发一种可扩展的、理论上有保障的SA框架，利用未调整的朗之万算法以提升收敛性和计算效率。
• 在高维问题上展示该方法的有效性，包括音频分析和具有随机效应的稀疏贝叶斯逻辑回归。

提出的方法

• 提出一种由未调整的朗之万MCMC核驱动的随机近似（SA）方案，以替代传统MCMC方法在SA中用于最大边际似然估计的应用。
• 利用未调整的朗之万算法，其具有易于验证的几何遍历性条件，并且相比Metropolis校正方案更易于校准。
• 将优化问题表述为最大化一个带有正则化项的对数似然函数，其中梯度通过未调整的朗之万采样近似得到。
• 在较弱条件下建立理论收敛性，包括朗之万核的统一漂移和极小化条件，确保SA迭代的稳定性和收敛性。
• 引入一个李雅普诺夫函数 $ V $ 以量化朗之万核的几何遍历性，并推导出马尔可夫转移核对参数和步长变化敏感性的显式边界。
• 通过限制不同参数和步长下转移核之间Kullback-Leibler散度的上界，提供SA迭代收敛速率的理论保证。

实验结果

研究问题

• RQ1 未调整的朗之万MCMC核是否能在随机近似框架中有效使用，以实现在高维模型中的可扩展优化？
• RQ2 在随机近似背景下，确保未调整朗之万核几何遍历性和稳定性的理论条件是什么？
• RQ3 所提出的SOUL方法的收敛特性与使用Metropolis校正MCMC核的标准SA方案相比如何？
• RQ4 SOUL方法是否能在高维设置下实现可靠的收敛，并具备显式、可检查的理论边界？
• RQ5 在具有挑战性的高维问题（如音频分析和稀疏贝叶斯逻辑回归）中，SOUL的实证性能如何？

主要发现

• 在势函数的较弱正则性条件下，所提出的SOUL方法可实现朗之万核的几何遍历性，从而确保稳定且高效的采样。
• 推导出不同参数和步长下转移核之间Kullback-Leibler散度的显式理论边界，表明核对参数和步长变化的敏感性是可控的，并随步长减小而衰减。
• 在标准假设下，该方法可确保SA迭代收敛至真实的最大边际似然解，且收敛速率可被显式量化。
• 数值实验表明，SOUL在高维设置下优于标准SA方法，包括一个1000维的音频分析任务和一个具有随机效应的稀疏贝叶斯逻辑回归问题。
• 理论分析证实，未调整的朗之万核满足统一的极小化和漂移条件，这些是建立几何遍历性和收敛性的关键。
• 该方法对高维参数空间具有鲁棒性，并避免了在随机近似中使用Metropolis校正MCMC时常见的校准困难。