[论文解读] Distributionally Robust Bayesian Quadrature Optimization

Thanh Nguyen-Tang, Sunil Gupta+3 more|arXiv (Cornell University)|Jan 19, 2020

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

该论文提出分布鲁棒贝叶斯积分优化（DRBQO），一种基于后验采样的算法，通过在 χ² 球内最大化最不利分布下的期望目标函数，解决贝叶斯积分优化中的分布不确定性问题。该方法实现了次线性贝叶斯遗憾，并在合成数据和真实世界超参数调优任务中优于标准 BQO 和 MTBO 基线模型，尤其在小样本条件下表现更优。

ABSTRACT

Bayesian quadrature optimization (BQO) maximizes the expectation of an expensive black-box integrand taken over a known probability distribution. In this work, we study BQO under distributional uncertainty in which the underlying probability distribution is unknown except for a limited set of its i.i.d. samples. A standard BQO approach maximizes the Monte Carlo estimate of the true expected objective given the fixed sample set. Though Monte Carlo estimate is unbiased, it has high variance given a small set of samples; thus can result in a spurious objective function. We adopt the distributionally robust optimization perspective to this problem by maximizing the expected objective under the most adversarial distribution. In particular, we propose a novel posterior sampling based algorithm, namely distributionally robust BQO (DRBQO) for this purpose. We demonstrate the empirical effectiveness of our proposed framework in synthetic and real-world problems, and characterize its theoretical convergence via Bayesian regret.

研究动机与目标

• 解决因样本量较小导致的标准贝叶斯积分优化（BQO）在分布不确定性下的局限性。
• 开发一种鲁棒优化框架，在仅获得有限独立同分布样本时，考虑底层上下文分布 P₀ 的不确定性。
• 引入一种新的性能度量指标 ρ-遗憾，用于评估在分布不确定性环境下的鲁棒性。
• 通过次线性贝叶斯遗憾，理论表征所提算法的收敛性。
• 在合成数据和真实世界超参数调优问题（包括基于 MNIST 的模型优化）上，实证验证 DRBQO 的有效性。

提出的方法

• 将问题表述为在分布不确定性下最大化期望目标函数，其中真实分布 P₀ 仅通过有限样本集 Sₙ 已知。
• 提出 DRBQO，一种基于后验采样的算法，在每次迭代中求解一个代理的分布鲁棒优化问题。
• 使用 χ² 散度球定义对抗性分布集合，确保对经验分布最坏扰动的鲁棒性。
• 在每一步中采用二分查找高效求解对抗性分布上的内层优化问题。
• 对黑箱函数 f(x,w) 使用高斯过程（GP）模型，并构建一个考虑分布不确定性下最坏期望的代理目标函数。
• 将 f 的 GP 模型与分布鲁棒性框架相结合，推导出对期望目标 g(x) 的鲁棒估计。

实验结果

研究问题

• RQ1 上下文分布 P₀ 的分布不确定性如何影响标准贝叶斯积分优化（BQO）的性能？
• RQ2 基于后验采样的方法是否能有效应对贝叶斯积分优化中分布扰动下的鲁棒解寻找？
• RQ3 分布鲁棒 BQO 算法的理论收敛行为如何？其是否能实现次线性贝叶斯遗憾？
• RQ4 在验证数据有限的真实世界超参数调优任务中，DRBQO 与标准 BQO 和 MTBO 相比表现如何？
• RQ5 DRBQO 能在多大程度上通过 ρ 参数控制鲁棒性？这对小样本问题的性能有何影响？

主要发现

• DRBQO 实现了次线性贝叶斯遗憾，表明其在分布不确定性下具有理论收敛性。
• 在 MNIST 超参数调优实验中，DRBQO 在 ρ=5 时在 CNN 上实现了 1.321±0.061% 的测试误差，优于 BQO-TS 基线（1.869±0.232%）和 MTBO（1.712±0.263%）。
• 对于 ElasticNet，DRBQO 在 ρ=5 时实现了 8.380±0.022% 的测试误差，显著低于 BQO-TS 基线（8.625±0.116%）和 MTBO（8.576±0.080%）。
• DRBQO 在所有 ρ 值下均持续优于 BQO-EI 和 BQO-TS，且在较高 ρ 值（如 ρ=5）时表现最佳，表明其鲁棒性增强。
• 该算法有效缓解了小样本条件下蒙特卡洛估计的高方差，避免了标准 BQO 中常见的虚假最优解。
• 实证结果表明，DRBQO 提供了更具鲁棒性的超参数配置，尤其在交叉验证折性能显著波动时表现更优。