[论文解读] Active Contextual Entropy Search

Jan Hendrik Metzen|arXiv (Cornell University)|Nov 13, 2015

Human Pose and Action Recognition参考文献 26被引用 5

一句话总结

该论文提出了一种主动上下文熵搜索（Active Contextual Entropy Search, ACES）方法，这是一种基于信息论的主动学习方法，用于上下文策略搜索，通过同时选择任务（上下文）和参数，以最大化关于最优策略参数的信息增益。通过在贝叶斯优化框架中应用熵搜索，ACES比随机或启发式任务选择更高效地减少不确定性，在较少试验次数下实现了机器人控制任务中更快的学习收敛速度。

ABSTRACT

Contextual policy search allows adapting robotic movement primitives to different situations. For instance, a locomotion primitive might be adapted to different terrain inclinations or desired walking speeds. Such an adaptation is often achievable by modifying a small number of hyperparameters. However, learning, when performed on real robotic systems, is typically restricted to a small number of trials. Bayesian optimization has recently been proposed as a sample-efficient means for contextual policy search that is well suited under these conditions. In this work, we extend entropy search, a variant of Bayesian optimization, such that it can be used for active contextual policy search where the agent selects those tasks during training in which it expects to learn the most. Empirical results in simulation suggest that this allows learning successful behavior with less trials.

研究动机与目标

• 解决在仅允许有限次试验的多任务机器人策略搜索中，主动且样本高效的探索挑战。
• 克服不同任务之间奖励不可比较的问题，因为性能差异可能源于任务难度而非策略质量。
• 开发一种系统化的方法，联合选择上下文与参数，以最大化关于上下文空间中全局最优策略的信息增益。
• 通过用信息论准则替代启发式或随机的任务选择，提升上下文策略搜索中的学习速度与样本效率。

提出的方法

• ACES通过在联合上下文-参数空间上使用高斯过程（GP）建模期望回报 $ R(\theta, s) $，将熵搜索扩展至上下文策略搜索。
• 该方法选择下一组上下文与参数对，以最小化最优参数向量的后验期望熵，从而促进全局不确定性的减少。
• 它使用上下文空间上信息增益的蒙特卡洛近似，其中 $ N_{nn} $ 个最近邻用于估计熵的减少量。
• 获取函数通过积分潜在的上下文-参数对进行计算，偏好那些能为整体策略带来高信息增益的区域。
• 该方法被整合进贝叶斯优化框架中，其中上层策略通过上下文相对熵策略搜索（C-REPS）进行更新。
• 采用确定性仿射策略将上下文映射到参数，且GP代理模型使用固定探索参数 $ \kappa = 5.0 $ 的各向异性马尔钦核进行训练。

实验结果

研究问题

• RQ1 基于信息增益的主动任务选择是否在上下文策略搜索中优于随机或启发式任务选择？
• RQ2 在上下文空间中考虑全局不确定性减少，如何提升机器人策略学习的样本效率？
• RQ3 在熵近似中使用多个最近邻与单样本估计相比，能在多大程度上提升学习性能？
• RQ4 ACES如何在不需显式估计任务难度的情况下，处理不同任务之间不可比较的奖励？

主要发现

• 当 $ N_{nn} = 20 $ 时，ACES显著加快了学习收敛速度，相比随机任务选择，大幅减少了达到高性能所需的试验次数。
• 该方法在早期学习阶段优于使用期望改进（ES）和GP-UCB参数选择的BO-CPS方法。
• 当 $ N_{nn} = 20 $ 时，ACES避免选择上下文空间边界附近的区域，因为这些区域提供的全局信息较少，从而实现了更有效的探索。
• 相比之下，当 $ N_{nn} = 1 $ 时，ACES因依赖局部信息增益而选择了更多边界区域，导致学习速度更慢。
• 实验结果表明，ACES能够更快地在测试上下文网格上泛化运动原语，且在20次独立运行中，平均性能方差更低。
• 使用熵搜索进行主动上下文选择，显著加快了学习成功率，证明了信息论准则在主动多任务强化学习中的价值。