[论文解读] Bayesian Optimization for Probabilistic Programs

Tom Rainforth, Tuan Le+3 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 19被引用 3

一句话总结

本文提出了BOPP，这是首个用于在概率程序中使用贝叶斯优化进行边缘最大后验（MMAP）估计的通用框架。通过利用源代码感知的高斯过程和问题无关的超先验，BOPP能够在对其他变量进行边缘化的同时，高效优化潜在变量，在基于模拟的设计与参数调优任务中，显著优于现有工具。

ABSTRACT

We present the first general purpose framework for marginal maximum a posteriori estimation of probabilistic program variables. By using a series of code transformations, the evidence of any probabilistic program, and therefore of any graphical model, can be optimized with respect to an arbitrary subset of its sampled variables. To carry out this optimization, we develop the first Bayesian optimization package to directly exploit the source code of its target, leading to innovations in problem-independent hyperpriors, unbounded optimization, and implicit constraint satisfaction; delivering significant performance improvements over prominent existing packages. We present applications of our method to a number of tasks including engineering design and parameter optimization.

研究动机与目标

• 为概率编程系统中边缘最大后验（MMAP）估计缺乏通用优化支持的问题提供解决方案。
• 在利用现有推理引擎的同时，实现对概率程序中任意采样变量子集的优化，同时对其他变量进行边缘化。
• 开发一种直接利用源代码结构以提升效率和鲁棒性的贝叶斯优化框架。
• 在复杂基于模拟的模型中，支持无界优化和隐式约束的自然满足。
• 在真实世界工程设计与参数优化任务中，展示该框架的有效性。

提出的方法

• 该框架通过代码转换，将任意概率程序的证据表示为可微分的目标函数以供优化。
• 采用一种新颖的源代码感知高斯过程（GP）代理模型，对输入和输出进行±1范围的缩放，以提升稳定性和泛化能力。
• 在长度尺度和噪声项上定义问题无关的GP超先验，通过在超参数上使用对数正态先验，实现无需领域知识的鲁棒初始化。
• 与Anglican等现有概率编程系统集成，利用ABC似然函数对模拟器输出进行条件化处理，以估计模型证据。
• 通过期望改进采集函数进行优化，通过迭代评估概率程序来更新GP代理模型，从而定位最优变量设置。
• 通过概率程序的结构以及GP对复杂非线性响应面的建模能力，自然满足隐式约束。

实验结果

研究问题

• RQ1 在无需模型特定调整的前提下，贝叶斯优化能否有效应用于通用概率程序以实现MMAP估计？
• RQ2 如何设计一种问题无关的GP超先验，以实现在多样化概率程序上无需调整的鲁棒优化？
• RQ3 在基于模拟的推断场景中，源代码感知能力在多大程度上能提升贝叶斯优化的效率与收敛性？
• RQ4 该框架能否通过概率程序结构自然处理无界优化和隐式约束？
• RQ5 在真实世界工程与机器学习任务中，该方法与现有优化包相比性能如何？

主要发现

• 在基于模拟的工程设计任务中，BOPP在性能上显著优于主流现有优化包。
• 该框架成功优化了房屋供暖模拟中的散热器功率分配，通过改善热分布的均匀性，将8个位置的温度方差降低。
• 经过100次迭代后，BOPP找到的配置产生的温度分布均匀性优于随机初始化，如图1中的可视化热力图所示。
• 图1中的证据收敛图显示，模型证据呈现稳定且单调的提升趋势，中位数证据随迭代增加，四分位距逐渐缩小。
• 使用问题无关的超先验无需人工调参即可实现有效优化，证明了其在不同问题规模和结构下的鲁棒性。
• 与ABC似然函数的集成使得在确定性模拟器中能有效评估效用，通过建模与目标结果的偏差，实现在随机环境中的MMAP估计。