[论文解读] APRIL: Active Preference-learning based Reinforcement Learning

Riad Akrour, Marc Schoenauer+1 more|arXiv (Cornell University)|Aug 5, 2012

Reinforcement Learning in Robotics参考文献 26被引用 10

一句话总结

APRIL 提出了一种基于主动偏好学习的强化学习框架，通过使用选择的近似期望效用（AEUS）准则，迭代优化策略，从而最小化专家反馈。该方法在 Mountain Car 和癌症治疗任务中仅需约 12 次专家比较即达到最先进性能，显著提升了样本效率，优于 IRL 和 CMA-ES。

ABSTRACT

This paper focuses on reinforcement learning (RL) with limited prior knowledge. In the domain of swarm robotics for instance, the expert can hardly design a reward function or demonstrate the target behavior, forbidding the use of both standard RL and inverse reinforcement learning. Although with a limited expertise, the human expert is still often able to emit preferences and rank the agent demonstrations. Earlier work has presented an iterative preference-based RL framework: expert preferences are exploited to learn an approximate policy return, thus enabling the agent to achieve direct policy search. Iteratively, the agent selects a new candidate policy and demonstrates it; the expert ranks the new demonstration comparatively to the previous best one; the expert's ranking feedback enables the agent to refine the approximate policy return, and the process is iterated. In this paper, preference-based reinforcement learning is combined with active ranking in order to decrease the number of ranking queries to the expert needed to yield a satisfactory policy. Experiments on the mountain car and the cancer treatment testbeds witness that a couple of dozen rankings enable to learn a competent policy.

研究动机与目标

• 减少偏好强化学习中所需专家排序查询的次数。
• 在奖励函数不可用且示范不切实际的情况下实现有效的策略学习，特别是在群体机器人等复杂领域。
• 将主动学习与基于偏好的策略学习相结合，加速向高效策略的收敛。
• 解决高维参数化策略表示下策略行为非平滑性带来的挑战。
• 开发一种可扩展且可计算的替代方案，以应对连续高维策略空间中的贝叶斯主动学习。

提出的方法

• 提出主动偏好强化学习（APRIL）算法，结合基于偏好的策略学习与主动排序机制。
• 采用近似期望效用选择（AEUS）准则，选择最具信息量的策略供专家评估。
• 采用双空间框架：参数化策略空间（用于优化）与行为空间（用于偏好建模），通过非光滑映射 Φ 相关联。
• 使用可计算的代理近似逆映射 Φ⁻¹，实现在高维空间中的贝叶斯风格主动学习。
• 利用专家反馈形式的策略轨迹成对比较，以优化策略回报估计。
• 采用受贝叶斯优化启发的方法，选择能最大化期望信息增益的新候选策略。

实验结果

研究问题

• RQ1 主动偏好学习能否减少在强化学习中学习高效策略所需的专家比较次数？
• RQ2 如何将贝叶斯主动学习适配到高维参数化策略空间中非平滑策略行为映射的问题？
• RQ3 在仅几十次专家比较下，性能是否足以与 IRL 或 CMA-ES 相当？
• RQ4 在奖励函数难以设计且示范不切实际的环境中，APRIL 表现如何？
• RQ5 AEUS 能否在复杂强化学习场景中提供精确期望效用选择的可计算替代方案？

主要发现

• APRIL 仅使用 15 次专家比较即在 Mountain Car 任务中达到最先进性能，优于 IRL 和 CMA-ES。
• 在癌症治疗测试平台中，APRIL 在 20 次迭代内（约 12 次比较）达到最优性能，而 CMA-ES 未能收敛。
• 在 Mountain Car 环境中，APRIL 在 15 次迭代后表现与 IRL 相当或更优，尽管 IRL 依赖专家示范。
• 在噪声水平高达 σ_noise = 0.2 的情况下，该方法保持鲁棒，101 次运行中性能一致。
• AEUS 准则实现了高效的策略选择，使所需专家查询次数相比非主动方法减少了 10 倍。
• 实验表明，仅需几十比特的偏好反馈（比较）即可学习到高效策略，即使无奖励塑形或示范也足够。