[论文解读] Convergence Guarantees for Adaptive Bayesian Quadrature Methods

Motonobu Kanagawa, Philipp Hennig|arXiv (Cornell University)|May 24, 2019

Statistical and numerical algorithms参考文献 2被引用 13

一句话总结

本文通过引入弱自适应（weak adaptivity）的概念，首次为自适应贝叶斯积分（adaptive Bayesian quadrature, ABQ）方法提供了理论收敛保证，确保了广泛类别的获取函数下的一致性。论文证明了在较温和条件下ABQ方法可收敛，为其在中等维度积分问题中的经验成功提供了理论基础。

ABSTRACT

Adaptive Bayesian quadrature (ABQ) is a powerful approach to numerical integration that empirically compares favorably with Monte Carlo integration on problems of medium dimensionality (where non-adaptive quadrature is not competitive). Its key ingredient is an acquisition function that changes as a function of previously collected values of the integrand. While this adaptivity appears to be empirically powerful, it complicates analysis. Consequently, there are no theoretical guarantees so far for this class of methods. In this work, for a broad class of adaptive Bayesian quadrature methods, we prove consistency, deriving non-tight but informative convergence rates. To do so we introduce a new concept we call weak adaptivity. Our results identify a large and flexible class of adaptive Bayesian quadrature rules as consistent, within which practitioners can develop empirically efficient methods.

研究动机与目标

• 解决自适应贝叶斯积分（ABQ）方法缺乏理论保证的问题，这些方法在实践中有效，但尚未得到理论验证。
• 识别在获取函数为自适应且依赖观测结果时，ABQ方法保持一致性的条件。
• 提供一个理论框架，以解释ABQ在标准蒙特卡洛方法和贝叶斯积分方法难以应对的中等维度问题中表现出的实证性能。
• 通过形式化分析，使新ABQ方法的设计在保证收敛的同时提升实际效率。
• 弥合概率机器学习中数值积分领域经验成功与理论可靠性之间的差距。

提出的方法

• 引入弱自适应的概念，该条件可确保获取函数不会过度集中于特定区域，从而防止过早收敛。
• 制定一个通用的获取函数类别，涵盖现有ABQ方法（如WSABI-L和MMLT）所使用的函数。
• 推导出基于变换高斯过程后验方差的积分误差上界，从而实现误差分析。
• 在弱自适应和有界性假设下，通过证明积分误差随设计点数量增加而收敛于零，建立一致性。
• 分析特定获取函数（如后验方差的平方、指数形式）并推导其一致性的充分条件。
• 使用泛函分析工具，包括再生核希尔伯特空间中的范数，以控制后验均值和获取函数的行为。

实验结果

研究问题

• RQ1 自适应贝叶斯积分方法能否在理论上保证收敛到真实积分值？
• RQ2 获取函数需满足何种条件，才能确保ABQ不会过早聚焦于定义域的子集，从而避免不一致？
• RQ3 弱自适应与ABQ的收敛行为有何关联？能否将其作为新获取函数设计的指导原则？
• RQ4 为何某些ABQ方法（如MMLT）在无额外假设下仍能保持一致，而其他方法（如WSABI-L）则需要修改获取函数？
• RQ5 理论分析在多大程度上可解释ABQ相对于非自适应贝叶斯积分和蒙特卡洛方法的实证优越性？

主要发现

• 本文首次通过引入弱自适应概念，为自适应贝叶斯积分提供了理论收敛保证。
• 证明了在弱自适应条件下，ABQ方法具有一致性，即随着设计点数量增加，积分误差收敛于零。
• 对于MMLT方法，在假设1成立时可保证一致性，并给出了获取函数的显式下界和上界。
• WSABI-L方法需要修改获取函数（例如添加常数项）以确保一致性，因为原始形式在先验均值为零时可能失效。
• 分析提供了基于变换高斯过程后验方差的一般误差上界，适用于任意设计点序列。
• 结果表明，弱自适应作为一种理论保障，可防止过度集中，类似于马尔可夫链蒙特卡洛（MCMC）中的细致平衡，确保对整个定义域的充分探索。