[论文解读] Agent-Agnostic Human-in-the-Loop Reinforcement Learning

David Abel, John Salvatier+2 more|arXiv (Cornell University)|Jan 15, 2017

Reinforcement Learning in Robotics参考文献 37被引用 22

一句话总结

本文提出协议程序——一种新型的、与智能体无关的人机协同强化学习框架，可在无需了解智能体内在学习算法的情况下实现人类引导教学。通过将人类指导编码为对状态、动作和奖励通道的可编程控制，该方法有效支持在多种强化学习智能体上进行动作剪枝和奖励塑造，显著提升了网格世界和出租车环境中的样本效率与安全性，当使用剪枝时，R-max在更少的训练回合内实现了接近最优的性能。

ABSTRACT

Providing Reinforcement Learning agents with expert advice can dramatically improve various aspects of learning. Prior work has developed teaching protocols that enable agents to learn efficiently in complex environments; many of these methods tailor the teacher's guidance to agents with a particular representation or underlying learning scheme, offering effective but specialized teaching procedures. In this work, we explore protocol programs, an agent-agnostic schema for Human-in-the-Loop Reinforcement Learning. Our goal is to incorporate the beneficial properties of a human teacher into Reinforcement Learning without making strong assumptions about the inner workings of the agent. We show how to represent existing approaches such as action pruning, reward shaping, and training in simulation as special cases of our schema and conduct preliminary experiments on simple domains.

研究动机与目标

• 开发一种通用的、与智能体无关的人机协同强化学习框架，避免对智能体学习算法或表征方式的假设。
• 将人类指导形式化为可编程干预措施（如动作剪枝、奖励塑造和状态操控），适用于任何强化学习智能体。
• 证明此类协议程序可在无需针对智能体进行适配的情况下，加速学习并防止灾难性后果。
• 通过模块化、可编程的接口，探索教师在强化学习中有效性的理论与实践边界。
• 为可动态调整、由人类引导的教学协议奠定基础，使其可应用于多种强化学习算法与环境。

提出的方法

• 该框架使用“协议程序”——用户定义的程序，用于中介智能体、环境与人类之间的交互，控制状态转移、动作可用性及奖励信号。
• 协议程序通过阻止次优或危险动作（如MountainCar领域中的高速移动）实现动作剪枝，并将智能体返回至当前状态，同时施加轻微惩罚。
• 该方法通过基于人类提供规则修改奖励信号，支持奖励塑造，例如当出租车未到达目的地时对下车动作施加惩罚。
• 通过改变智能体的观测或状态表征，实现状态操控，例如遮蔽无关特征或降低维度。
• 该方法在完全可观测的马尔可夫决策过程（MDP）设定下形式化，假设状态完全可观测且人类指导已预先编程。
• 实验在两个环境中评估协议程序：MountainCar（防止高速动作）和Taxi（在未到达目的地时剪枝下车动作），使用Q-learning和R-max智能体。

实验结果

研究问题

• RQ1 人类是否可以在不了解智能体学习算法或表征方式的前提下，对任意强化学习智能体提供有效指导？
• RQ2 哪些类型的人类干预（如动作剪枝、奖励塑造或状态操控）可以被统一编码并应用于多种强化学习智能体？
• RQ3 与针对特定智能体的教学方法相比，与智能体无关的协议编程在学习速度和安全性方面表现如何？
• RQ4 协议程序是否能在复杂MDP中防止灾难性动作，同时保持或提升样本效率？
• RQ5 在何种理论条件下，教师可可靠地剪枝非最优动作而不损害学习性能？

主要发现

• 在MountainCar领域中，通过协议程序实现动作剪枝的智能体，在40万次动作中获得的累积回报显著更高，约为未剪枝智能体的五倍，尽管其观察到了部分不一致的状态转移。
• 剪枝后的智能体更早达到接近最优性能，早期训练阶段即显现出巨大性能差距，仅随未剪枝智能体逐渐学会避免高速移动而缓慢缩小。
• 在Taxi环境中，动作剪枝通过消除无效的下车动作，减少了有效状态空间，从而加快了收敛速度，并提升了Q-learning和R-max智能体的累积回报。
• 作为基于模型的算法，R-max在人类协议引导下，仅用少量训练回合即实现了接近最优性能，表明剪枝带来了显著加速。
• 协议程序方法成功将奖励塑造和动作剪枝的优势作为特例捕获，且无需访问智能体的内部代码或学习机制。
• 结果表明，与智能体无关的协议可实现高效且可扩展，支持在多种强化学习算法间复用模块化教学策略。