[论文解读] Active Multi-Information Source Bayesian Quadrature

Alexandra Gessner, Javier González+1 more|arXiv (Cornell University)|Mar 27, 2019

Gaussian Processes and Bayesian Inference参考文献 27被引用 5

一句话总结

本文提出了一种主动多信息源贝叶斯积分法（AMS-BQ），一种样本高效的方法，通过主动利用更便宜的、相关的辅助信息源来集成计算代价高昂的函数。通过将评估成本纳入采集函数的泛化设计，AMS-BQ 在预算效率方面优于标准贝叶斯积分法，在概念验证实验中显著减少了达到目标精度所需的昂贵主函数评估次数。

ABSTRACT

Bayesian quadrature (BQ) is a sample-efficient probabilistic numerical method to solve integrals of expensive-to-evaluate black-box functions, yet so far,active BQ learning schemes focus merely on the integrand itself as information source, and do not allow for information transfer from cheaper, related functions. Here, we set the scene for active learning in BQ when multiple related information sources of variable cost (in input and source) are accessible. This setting arises for example when evaluating the integrand requires a complex simulation to be run that can be approximated by simulating at lower levels of sophistication and at lesser expense. We construct meaningful cost-sensitive multi-source acquisition rates as an extension to common utility functions from vanilla BQ (VBQ),and discuss pitfalls that arise from blindly generalizing. Furthermore, we show that the VBQ acquisition policy is a corner-case of all considered cost-sensitive acquisition schemes, which collapse onto one single de-generate policy in the case of one source and constant cost. In proof-of-concept experiments we scrutinize the behavior of our generalized acquisition functions. On an epidemiological model, we demonstrate that active multi-source BQ (AMS-BQ) allocates budget more efficiently than VBQ for learning the integral to a good accuracy.

研究动机与目标

• 开发一种主动学习框架，用于贝叶斯积分，整合多个更便宜、相关的辅助信息源，以提升样本效率。
• 解决标准贝叶斯积分的局限性，即仅使用主被积函数而忽略更便宜、相关的函数。
• 形式化代价敏感的采集函数，以在多个信息源之间平衡积分估计的改进与评估成本。
• 识别并分析在将采集函数推广至含代价考虑的多源设置时出现的病态行为。
• 通过实证验证，AMS-BQ 在真实世界仿真任务中比标准贝叶斯积分更高效地分配计算预算。

提出的方法

• 通过使用具有共享或相关结构的多输出高斯过程建模多个相关函数（主函数与辅助源），扩展标准贝叶斯积分。
• 引入代价敏感的采集函数，以优化单位成本的期望信息增益，权衡不同来源在积分估计改进与评估成本之间的权衡。
• 采用广义效用函数，同时结合积分预测方差与各源评估成本，实现代价感知的主动学习。
• 对主源与辅助源采用联合先验分布，利用协相关矩阵建模跨源相关性与共享结构。
• 通过最大化采集函数选择下一个评估点，基于代价调整后的效用在主源或辅助源之间进行选择。
• 实施分层模型，假设辅助源为代价更低的主函数近似，如低分辨率模拟或简化模型。

实验结果

研究问题

• RQ1 如何在考虑评估成本的前提下，将主动贝叶斯积分扩展至利用多个更便宜、相关的辅助信息源？
• RQ2 在多源贝叶斯积分中引入代价因素对采集函数的影响是什么？它们如何影响最终的采集策略？
• RQ3 哪些采集函数设计能产生高效且非病态的策略？哪些设计会导致退化或反直觉的行为？
• RQ4 代价感知的采集函数是否能显著减少为达到目标积分精度所需的昂贵主函数评估次数？
• RQ5 在真实世界、计算代价高昂的仿真任务中，主动多源贝叶斯积分相较于标准贝叶斯积分的性能如何？

主要发现

• 在流行病模型实验中，AMS-BQ 实现目标精度仅需比标准贝叶斯积分少五次主函数评估（分别为1次与6次）。
• 当归一化成本 ≈ 0.3 时，AMS-BQ 估计器的相对误差降至1%以下，其代价效率优于标准贝叶斯积分与蒙特卡洛估计器。
• 当效用函数未正确考虑代价时，会引发病态的采集策略，凸显在多源设置中进行代价敏感设计的必要性。
• 与标准贝叶斯积分中所有采集函数均产生相同退化策略不同，AMS-BQ 中的代价感知采集函数会因效用函数形式不同而产生多样化且有意义的策略。
• 初始对积分估计的高置信度源于输出尺度的先验分布，以及首次主函数评估位于输入分布尾部的位置。
• 对辅助源的评估被战略性地安排，以增强其与主源的相关性，从而减少对重复昂贵主函数评估的需求。