[论文解读] Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics参考文献 22被引用 6

一句话总结

本文首次研究了在人类-机器人交互的演员-评论家强化学习中，人类同时进行控制与反馈的机制。论文提出了一个通用交互学习框架，并表明用户可在不降低控制质量的前提下同时提供控制与反馈，尽管在两者并行提供时反馈频率会下降。

ABSTRACT

This paper contributes a first study into how different human users deliver simultaneous control and feedback signals during human-robot interaction. As part of this work, we formalize and present a general interactive learning framework for online cooperation between humans and reinforcement learning agents. In many human-machine interaction settings, there is a growing gap between the degrees-of-freedom of complex semi-autonomous systems and the number of human control channels. Simple human control and feedback mechanisms are required to close this gap and allow for better collaboration between humans and machines on complex tasks. To better inform the design of concurrent control and feedback interfaces, we present experimental results from a human-robot collaborative domain wherein the human must simultaneously deliver both control and feedback signals to interactively train an actor-critic reinforcement learning robot. We compare three experimental conditions: 1) human delivered control signals, 2) reward-shaping feedback signals, and 3) simultaneous control and feedback. Our results suggest that subjects provide less feedback when simultaneously delivering feedback and control signals and that control signal quality is not significantly diminished. Our data suggest that subjects may also modify when and how they provide feedback. Through algorithmic development and tuning informed by this study, we expect semi-autonomous actions of robotic agents can be better shaped by human feedback, allowing for seamless collaboration and improved performance in difficult interactive domains.

研究动机与目标

• 研究人类在人机交互过程中如何同时提供控制与反馈信号。
• 通过支持并行信号传输，弥合复杂机器人系统与有限人类控制通道之间的差距。
• 构建一个正式框架，以建模和分析人类与强化学习智能体之间的交互学习过程。
• 考察在人机协作任务中，同步控制与反馈对信号质量、反馈频率及学习性能的影响。
• 为未来自适应、人在回路的强化学习系统提供算法设计指导，提升反馈整合能力并增强对人类差异性的鲁棒性。

提出的方法

• 提出通用交互学习框架（图2），形式化人类与智能体之间的通信通道，包括反馈（F）、状态（S）和显示（D）信号。
• 实现一个使用人类提供的控制信号（通过Myo臂环）和奖励调节反馈（通过左手按钮点击）训练的演员-评论家强化学习智能体。
• 在模拟的Nao机器人环境中设计一个人机协作任务，要求受试者实时同步控制运动并调节奖励。
• 采用连续控制空间，以关节角度跟踪为主要任务，反馈用于调整奖励函数以引导学习。
• 在三种条件下收集并分析用户行为：仅控制、仅反馈、以及同步控制与反馈（N=13名参与者）。
• 基于人类信号模式的算法调优，以提升学习效率并增强对反馈变异性的鲁棒性。

实验结果

研究问题

• RQ1 同步提供控制与反馈时，人类反馈的频率与时机如何变化？
• RQ2 与仅控制条件相比，同时提供控制与反馈是否会导致控制信号质量下降？
• RQ3 在训练过程中，当两种信号并行提供时，反馈模式如何随时间演变？
• RQ4 在实时人机交互中，用户在管理双重信号模式时面临哪些行为与认知权衡？
• RQ5 在复杂任务中，强化学习智能体能否有效从并行、非侵入式的人类控制与反馈信号中学习？

主要发现

• 在同步提供控制与反馈时，参与者提供的反馈显著少于仅反馈条件，表明存在认知负荷的权衡。
• 在同步条件下，控制信号质量未出现显著下降，表明用户即使在提供反馈的同时也能维持高保真度的控制。
• 参与者调整了反馈时机，通常在机器人达到稳定状态后才提供反馈，表明其采用“先训练稳定性”的策略。
• 反馈模式随时间演变，用户在初始稳定后更关注设定点之间的变化，表明教学策略在不断演化。
• 定性反馈显示，用户认为该任务需要协调控制与反馈，部分用户采用指导性或反应式反馈风格。
• 结果支持在交互式强化学习中实现同步人类控制与反馈的可行性，对设计低带宽、高效率的人机协作系统具有启示意义。