[论文解读] Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information

Willie Neiswanger, Ke Alexander Wang+1 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了贝叶斯算法执行（BAX）框架，用于在有限的函数评估预算下，估计昂贵黑箱函数的可计算属性。该框架提出InfoBAX方法，一种迭代查询选择策略，通过最大化函数评估与算法输出之间的互信息，将所需查询次数减少至全量算法执行的1/500。

ABSTRACT

In many real-world problems, we want to infer some property of an expensive black-box function $f$, given a budget of $T$ function evaluations. One example is budget constrained global optimization of $f$, for which Bayesian optimization is a popular method. Other properties of interest include local optima, level sets, integrals, or graph-structured information induced by $f$. Often, we can find an algorithm $\\mathcal{A}$ to compute the desired property, but it may require far more than $T$ queries to execute. Given such an $\\mathcal{A}$, and a prior distribution over $f$, we refer to the problem of inferring the output of $\\mathcal{A}$ using $T$ evaluations as Bayesian Algorithm Execution (BAX). To tackle this problem, we present a procedure, InfoBAX, that sequentially chooses queries that maximize mutual information with respect to the algorithm's output. Applying this to Dijkstra's algorithm, for instance, we infer shortest paths in synthetic and real-world graphs with black-box edge costs. Using evolution strategies, we yield variants of Bayesian optimization that target local, rather than global, optima. On these problems, InfoBAX uses up to 500 times fewer queries to $f$ than required by the original algorithm. Our method is closely connected to other Bayesian optimal experimental design procedures such as entropy search methods and optimal sensor placement using Gaussian processes.

研究动机与目标

• 解决在严格评估预算下，对昂贵黑箱函数的可计算属性进行估计的挑战。
• 将全局/局部优化、水平集、积分和图属性等多样化问题统一到单一贝叶斯推理框架下。
• 开发一种自适应选择函数评估的方法，以最大化关于给定算法$σ$输出的信息，而无需修改$σ$以遵守预算。
• 在噪声或高成本评估场景下，实现使用远少于原始算法所需查询次数，准确推断算法输出。

提出的方法

• InfoBAX使用序列查询选择，以最大化函数评估与目标算法$σ$输出之间的互信息（MI）。
• 将获取函数定义为在输入$x$处新增评估后，算法输出$O_{σ}$的期望信息增益（EIG），以后验熵减少为准则。
• 该方法依赖从后验高斯过程（GP）模型中进行的蒙特卡洛采样，以在多个函数样本上模拟算法$σ$，从而在无闭式表达式的情况下估计MI。
• 提出了三种EIG目标的变体：$σ_{t}^{e}(x)$（执行路径）、$σ_{t}(x)$（输出）和$σ_{t}^{v}(x)$（基于值的），每种分别捕捉算法不确定性的不同方面。
• 该方法建立在贝叶斯最优实验设计基础上，将熵搜索和最优传感器定位扩展至算法输出。
• 通过将$f$建模为高斯过程并传播不确定性至算法$σ$，支持噪声函数评估。

实验结果

研究问题

• RQ1 我们能否使用远少于$T$次函数评估（$T$为算法$σ$所需的次数）来估计可计算算法$σ$在黑箱函数$f$上的输出？
• RQ2 如何设计一种查询选择策略，以最大化关于算法输出的信息增益，而非仅关于函数值的信息增益？
• RQ3 对于通用算法$σ$，函数评估与输出之间互信息的有效近似方法有哪些？
• RQ4 在算法属性估计任务中，InfoBAX与随机搜索和不确定性采样等标准基线相比，收敛速度和准确性如何？
• RQ5 该方法能否应用于多样化的算法任务，如top-$k$选择、最短路径计算和局部优化？

主要发现

• 在合成和真实世界图问题中，InfoBAX将所需函数评估次数减少至全量算法$σ$执行的1/500。
• 使用$σ_{t}^{v}(x)$的InfoBAX变体（最大化关于算法输出值的信息）在top-$k$估计实验中实现了最快收敛至真实top-$k$集合。
• 在top-$k$估计任务中，InfoBAX使用$σ_{t}^{v}(x)$和$σ_{t}(x)$在70次评估后Jaccard距离小于0.1，优于UncertaintySampling和RandomSearch。
• 该方法成功利用Dijkstra算法在具有黑箱边权的图中推断最短路径，证明了其在图结构属性上的适用性。
• InfoBAX将查询集中在真实top-$k$元素（金色星星）和算法执行路径（浅灰色点）上，而UncertaintySampling等基线则集中于整个函数空间的高不确定性区域。
• 该方法可泛化至多样化算法任务，包括通过进化策略实现的局部优化和水平集估计，且无需修改原始算法$σ$。