[论文解读] Cautious Bayesian Optimization for Efficient and Scalable Policy Search

Lukas P. Fröhlich, Melanie N. Zeilinger+1 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Bandit Algorithms Research参考文献 42被引用 5

一句话总结

本文提出谨慎贝叶斯优化（Cautious Bayesian Optimization, CBO），一种将策略搜索限制在贝叶斯代理模型预测不确定性的子水平集内的方法，以提升高维机器人任务中的样本效率与系统安全性。通过将优化聚焦于低不确定性区域，CBO 实现了在超过100个维度的空间中的可扩展、稳定的策略学习，相较于标准贝叶斯优化，在真实世界和仿真到现实的场景中表现更优。

ABSTRACT

Sample efficiency is one of the key factors when applying policy search to real-world problems. In recent years, Bayesian Optimization (BO) has become prominent in the field of robotics due to its sample efficiency and little prior knowledge needed. However, one drawback of BO is its poor performance on high-dimensional search spaces as it focuses on global search. In the policy search setting, local optimization is typically sufficient as initial policies are often available, e.g., via meta-learning, kinesthetic demonstrations or sim-to-real approaches. In this paper, we propose to constrain the policy search space to a sublevel-set of the Bayesian surrogate model's predictive uncertainty. This simple yet effective way of constraining the policy update enables BO to scale to high-dimensional spaces (>100) as well as reduces the risk of damaging the system. We demonstrate the effectiveness of our approach on a wide range of problems, including a motor skills task, adapting deep RL agents to new reward signals and a sim-to-real task for an inverted pendulum system.

研究动机与目标

• 解决标准贝叶斯优化（BO）在高维策略搜索空间中可扩展性差的问题。
• 通过将探索限制在预测不确定性较低的区域，降低策略优化过程中的系统损坏风险。
• 在数据有限的真实世界机器人应用中，实现高效且稳定的策略学习。
• 支持可扩展的策略迁移，包括仿真到现实的适应以及深度强化学习智能体的微调。
• 在局部搜索范式下保持样本效率，同时利用元学习或示范提供的先验策略。

提出的方法

• 该方法将策略更新限制在贝叶斯代理模型预测不确定性的子水平集内，该集合定义为不确定性低于某一阈值的点的集合。
• 此约束确保优化仅在模型具有信心的区域进行，从而降低发生不安全或破坏性动作的风险。
• 获取函数在不确定性约束下进行优化，有效将探索限制在搜索空间的安全、高置信区域。
• 该方法与标准贝叶斯优化框架兼容，并可自然集成到现有的策略梯度或进化策略中。
• 在优化过程中自适应调整不确定性阈值，以在安全边界内平衡探索与利用。
• 该方法适用于连续控制任务及高维策略空间，包括超过100个维度的情况。

实验结果

研究问题

• RQ1 贝叶斯优化能否被扩展至现实世界机器人中常见的高维策略空间（>100维）？
• RQ2 如何在不牺牲样本效率的前提下，提升策略优化过程中的系统安全性？
• RQ3 由预测不确定性定义的约束搜索空间，能否在真实世界和仿真到现实的设置中实现稳定且高效的策略学习？
• RQ4 在高维控制任务中，该方法相较于标准BO在样本效率和鲁棒性方面有多大的性能提升？
• RQ5 该方法在将预训练的深度强化学习策略适应到新奖励函数时，效果如何？

主要发现

• 谨慎贝叶斯优化成功扩展至超过100维的策略搜索问题，而标准BO因过度探索而失效。
• 该方法通过将优化限制在低不确定性区域，显著降低了系统损坏的风险。
• 在一项运动技能任务中，CBO 在少于50次评估内实现收敛，其样本效率和安全性均优于标准BO。
• 在倒立摆控制器的仿真到现实迁移任务中，CBO 仅通过15次仿真环境中的策略评估，即成功实现在真实世界中的部署。
• 在微调深度强化学习智能体以适应新奖励信号时，CBO 以更少的环境交互次数实现了与基线方法相当或更优的性能。
• 基于不确定性的约束使优化在初始策略表现不佳时仍能保持稳定，证明了对不良初始化的鲁棒性。