[论文解读] Distributionally Robust Bayesian Optimization
该论文提出了一种新型算法——分布鲁棒贝叶斯优化（DRBO），通过使用最大均值差异（MMD）不确定性集，在最坏情况分布偏移下优化黑箱函数。该方法在零阶、噪声环境下实现了次线性鲁棒遗憾，通过求解内部对抗问题实现，优于随机和最坏情况鲁棒基线方法，在合成数据和真实世界风力发电预测基准上表现更优。
Robustness to distributional shift is one of the key challenges of contemporary machine learning. Attaining such robustness is the goal of distributionally robust optimization, which seeks a solution to an optimization problem that is worst-case robust under a specified distributional shift of an uncontrolled covariate. In this paper, we study such a problem when the distributional shift is measured via the maximum mean discrepancy (MMD). For the setting of zeroth-order, noisy optimization, we present a novel distributionally robust Bayesian optimization algorithm (DRBO). Our algorithm provably obtains sub-linear robust regret in various settings that differ in how the uncertain covariate is observed. We demonstrate the robust performance of our method on both synthetic and real-world benchmarks.
研究动机与目标
- 解决贝叶斯优化中真实上下文分布与假设分布不一致时的鲁棒性问题。
- 开发一种分布鲁棒优化框架，平衡最坏情况鲁棒性的悲观性与随机优化的乐观性。
- 为具有噪声、零阶函数评估的设置提供鲁棒遗憾的理论保证。
- 在合成数据和真实世界数据上，实证证明所提方法优于随机和最坏情况鲁棒基线方法。
- 将贝叶斯优化扩展到上下文分布不确定且通过MMD距离度量的场景。
提出的方法
- 基于以参考分布为中心的MMD不确定性集，构建分布鲁棒优化问题。
- 提出一种新颖的DRBO算法，通过带凸约束的线性规划求解内部对抗问题，确保可计算性。
- 采用与标准贝叶斯优化一致的核基正则性假设，使用高斯过程先验。
- 使用固定βt = 2的保守采集函数，以在经验性能上超越理论值。
- 将该方法应用于合成函数和真实世界风力发电预测，使用滑动窗口法构建经验分布。
- 计算MMD球内最坏情况分布，以引导探索向鲁棒最优解靠拢。
实验结果
研究问题
- RQ1我们能否设计一种对上下文变量分布偏移具有鲁棒性的贝叶斯优化算法，同时保持理论遗憾保证？
- RQ2在存在分布偏移时，DRBO与随机和最坏情况鲁棒贝叶斯优化的性能相比如何？
- RQ3使用MMD作为定义不确定性集的分歧度量，在分布鲁棒优化中的影响是什么？
- RQ4所提方法能否在函数评估次数有限的零阶、噪声环境下实现次线性鲁棒遗憾？
- RQ5该算法在上下文集大小增加时的可扩展性如何？内部对抗问题的计算瓶颈是什么？
主要发现
- DRBO在不同观测机制下对不确定协变量的多种设置中均实现了次线性鲁棒遗憾。
- 在分布不匹配的合成基准上，DRBO优于UCB和StableOpt，后者因未考虑分布偏移而产生线性鲁棒遗憾。
- 在风力发电预测任务中，DRBO实现了接近零的鲁棒遗憾，证明了其在准确求解DRO目标时能够选择最优鲁棒解的能力。
- 随机优化基线（UCB）因未考虑分布偏移而产生线性鲁棒遗憾，即使真实分布与假设分布不一致。
- StableOpt虽具鲁棒性，但过于保守，在期望收益目标上表现不佳，凸显了DRBO平衡方法的优势。
- 该方法的性能对上下文集大小敏感，因其内部对抗问题的复杂度为O(|C|)，提示在大规模场景中需发展可扩展的近似方法。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。