[论文解读] Multi-Information Source Optimization

Matthias Poloczek, Jialei Wang+1 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种新颖的贝叶斯优化算法 misoKG，用于多信息源优化（MISO），能够处理具有固有模型偏差（偏差）和噪声观测的多个成本可变的信息源。通过将知识梯度扩展以同时考虑偏差和成本，misoKG 选择查询点以最大化单位成本的期望收益，在包括复杂库存优化任务在内的基准问题上，其在目标值和查询效率方面均优于最先进方法。

ABSTRACT

We consider Bayesian optimization of an expensive-to-evaluate black-box objective function, where we also have access to cheaper approximations of the objective. In general, such approximations arise in applications such as reinforcement learning, engineering, and the natural sciences, and are subject to an inherent, unknown bias. This model discrepancy is caused by an inadequate internal model that deviates from reality and can vary over the domain, making the utilization of these approximations a non-trivial task. We present a novel algorithm that provides a rigorous mathematical treatment of the uncertainties arising from model discrepancies and noisy observations. Its optimization decisions rely on a value of information analysis that extends the Knowledge Gradient factor to the setting of multiple information sources that vary in cost: each sampling decision maximizes the predicted benefit per unit cost. We conduct an experimental evaluation that demonstrates that the method consistently outperforms other state-of-the-art techniques: it finds designs of considerably higher objective value and additionally inflicts less cost in the exploration process.

研究动机与目标

• 解决在可获得更便宜但有偏差的近似值时，优化昂贵黑箱函数的挑战。
• 对来自多个信息源的观测噪声和模型差异（偏差）引起的不确定性进行建模并严格处理。
• 开发一种决策框架，以在异质信息源之间平衡查询成本与目标值期望改进之间的权衡。
• 通过最大化单位成本的信息价值来提高优化效率，尤其在模型差异显著的场景下。
• 在真实世界和合成基准测试中，证明所提方法优于现有最先进技术。

提出的方法

• 该方法采用多信息源高斯过程模型，联合建模真实目标函数与多个近似值，同时考虑偏差和噪声。
• 将知识梯度获取函数扩展，以同时纳入目标值的期望改进和每个信息源的查询成本。
• 该算法计算一个信息价值度量，量化每个候选点和信息源的单位成本期望收益。
• 使用分层先验结构建模信息源与真实目标之间的相关性，从而实现在各信息源之间的不确定性量化。
• 通过优化获取函数，选择能使单位成本期望收益最大化的下一个点与信息源组合，实现高效探索。
• 随着对最优解不确定性的降低，该方法动态地从更便宜但有偏差的信息源转向更准确但成本更高的信息源。

实验结果

研究问题

• RQ1 如何将贝叶斯优化扩展以处理成本、偏差和噪声水平各异的多个信息源？
• RQ2 在存在模型差异的情况下，何种获取准则能最优地平衡期望改进与查询成本之间的权衡？
• RQ3 是否能通过同时考虑偏差和成本的信息价值分析，实现比现有方法更快的收敛速度和更高的目标值？
• RQ4 该算法在优化过程中如何自适应地在不同信息源之间切换，以在最小化成本的同时最大化性能？
• RQ5 模型差异在多保真度优化中在多大程度上显著降低性能？能否有效缓解这一问题？

主要发现

• 在组装-按单生产基准测试中，misoKG 平均获得 26.1 的收益，显著优于 MTBO+ 和 misoEI，在目标值和成本效率方面均表现更优。
• misoKG 仅需 misoEI 所需查询成本的 6.3% 即可达到相近的目标值，展现出卓越的成本效率。
• 在优化初期，该算法主要使用最便宜但有偏差的信息源（IS1），随后切换至更准确但成本更高的信息源（IS2）以精炼解，体现了最优策略。
• 在 150 步内，misoKG 仅对最准确的信息源（IS2）进行了约十个查询，表明其对高成本源的高效利用。
• 该方法以平均 54.6 的查询成本实现了 26.1 的收益，而 misoEI 需要显著更高的成本才能达到类似性能。
• misoKG 在性能上全面超越 MTBO+，尤其在早期阶段优势明显，并在全部 100 次运行中均展现出更高的单位成本收益比。