[论文解读] Minimum Regret Search for Single- and Multi-Task Optimization

Jan Hendrik Metzen|arXiv (Cornell University)|Feb 2, 2016

Advanced Bandit Algorithms Research参考文献 22被引用 9

一句话总结

本文提出最小遗憾搜索（MRS），一种新型贝叶斯优化获取函数，通过专注于降低最终推荐结果质量不佳的风险，显式最小化期望简单遗憾（即真实最优值与推荐解之间的差异）。MRS 在减少高遗憾异常值方面优于熵搜索（ES）及其他方法，尤其在高维多任务机器人控制任务中表现更优，同时保持了强劲的中位数性能。

ABSTRACT

We propose minimum regret search (MRS), a novel acquisition function for Bayesian optimization. MRS bears similarities with information-theoretic approaches such as entropy search (ES). However, while ES aims in each query at maximizing the information gain with respect to the global maximum, MRS aims at minimizing the expected simple regret of its ultimate recommendation for the optimum. While empirically ES and MRS perform similar in most of the cases, MRS produces fewer outliers with high simple regret than ES. We provide empirical results both for a synthetic single-task optimization problem as well as for a simulated multi-task robotic control problem.

研究动机与目标

• 为解决现有贝叶斯优化方法过度关注信息增益而忽视最终推荐遗憾的局限性。
• 开发一种直接针对低期望简单遗憾的获取函数，提升在实际应用中对外部异常表现敏感场景的可靠性。
• 将遗憾最小化原则扩展至多任务优化，特别是在具有上下文参数的机器人控制场景中。
• 通过实验验证 MRS 相较于熵搜索和期望改进等最先进方法在合成数据与真实世界机器人控制任务中的表现。
• 证明 MRS 相较于信息论方法（如熵搜索）能显著降低高简单遗憾结果的发生频率。

提出的方法

• MRS 将获取函数定义为对目标函数后验分布的期望简单遗憾，利用蒙特卡洛采样估计真实最优值与推荐点之间差异的期望值。
• 采用基于高斯过程（GPs）和各向异性马尔丁内核的概率模型来表示目标函数及其不确定性。
• 使用基于采样的近似方法，其中 $ n_f = 1000 $ 个函数样本、$ n_r = 25 $ 个遗憾样本和 $ n_y = 51 $ 个观测值，以高效计算期望遗憾。
• 在多任务优化中，MRS 通过将上下文变量 $ \mathbf{s} $ 条件化，扩展为上下文相关的搜索，实现对参数 $ \mathbf{\theta} $ 和上下文的联合优化。
• 获取函数通过两步优化流程进行求解：首先使用 DIRECT 进行全局优化，随后通过 L-BFGS 进行局部精化。
• MRS 在合成数据与机器人控制实验中与基线获取函数（包括 UCB、PI、EI、熵搜索（ES）以及随机/贪婪基线）进行了对比。

实验结果

研究问题

• RQ1 能否设计一种显式最小化期望简单遗憾的获取函数，在中位数性能与异常值表现上均优于信息论方法（如熵搜索）？
• RQ2 MRS 在高维多任务优化场景（如具有多个可调节关节的机器人控制）中的表现如何？
• RQ3 MRS 是否相比熵搜索显著降低了高遗憾结果的发生频率，尤其是在复杂或噪声较大的搜索空间中？
• RQ4 MRS 与传统获取函数（如 UCB 和期望改进）相比，在收敛速度与最终解质量方面表现如何？
• RQ5 MRS 是否能有效扩展至具有上下文参数的多任务贝叶斯优化，并在不同上下文间具有良好泛化能力？

主要发现

• 在合成单任务问题中，MRS 的中位数简单遗憾性能与熵搜索（ES）相当，但高遗憾异常值显著更少。
• 在多任务机器人控制任务中，当控制四个关节时，MRS 在 200 轮后表现优于 ES（p < 0.01），表明其在高维空间中具有更强的鲁棒性。
• 在控制一个或两个关节时，MRS 与 ES 表现相近，但 MRS 在降低极端遗憾值方面始终具有优势。
• 贪婪和随机基线表现较差，表明仅依赖高斯过程建模不足以实现在复杂控制任务中的快速可靠学习。
• 在机器人控制任务中，MRS 在 16 个测试上下文中展现出强大的泛化能力，平均性能随 200 轮训练稳步提升。
• 结果表明，与 ES 相比，MRS 更不容易遗漏高遗憾区域，尤其在存在大量低概率但高影响区域的高维搜索空间中。