[论文解读] Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback

Duo Xu, Mohit Agarwal+3 more|arXiv (Cornell University)|Jun 30, 2020

EEG and Brain-Computer Interfaces参考文献 62被引用 6

一句话总结

该论文提出了一种新颖的深度强化学习框架，通过基于脑电信号（EEG）的隐式人类反馈整合误差相关电位（ErrPs），实现了在未见过环境中的零样本ErrP解码迁移，从而将标签效率提升75.56%，并使学习速度加快2.25倍。该方法采用一种稳健的概率奖励塑形机制，可有效抵抗噪声干扰的人类反馈。

ABSTRACT

Providing Reinforcement Learning (RL) agents with human feedback can dramatically improve various aspects of learning. However, previous methods require human observer to give inputs explicitly (e.g., press buttons, voice interface), burdening the human in the loop of RL agent's learning process. Further, it is sometimes difficult or impossible to obtain the explicit human advise (feedback), e.g., autonomous driving, disabled rehabilitation, etc. In this work, we investigate capturing human's intrinsic reactions as implicit (and natural) feedback through EEG in the form of error-related potentials (ErrP), providing a natural and direct way for humans to improve the RL agent learning. As such, the human intelligence can be integrated via implicit feedback with RL algorithms to accelerate the learning of RL agent. We develop three reasonably complex 2D discrete navigational games to experimentally evaluate the overall performance of the proposed work. Major contributions of our work are as follows, (i) we propose and experimentally validate the zero-shot learning of ErrPs, where the ErrPs can be learned for one game, and transferred to other unseen games, (ii) we propose a novel RL framework for integrating implicit human feedbacks via ErrPs with RL agent, improving the label efficiency and robustness to human mistakes, and (iii) compared to prior works, we scale the application of ErrPs to reasonably complex environments, and demonstrate the significance of our approach for accelerated learning through real user experiments.

研究动机与目标

• 通过EEG捕捉内在脑电信号（ErrPs），实现在强化学习中的隐式、非侵入式人类反馈。
• 通过消除按钮点击或语音指令等显式反馈机制，降低人类的认知负荷。
• 开发一种可扩展、样本高效的强化学习框架，集成EEG衍生反馈，且无需为每个新环境重新训练。
• 通过准确性、延迟和用户舒适度等指标，验证基于ErrPs的反馈在可行性与优越性方面优于显式标注。
• 通过概率奖励塑形机制，证明方法对噪声或错误人类反馈的鲁棒性。

提出的方法

• 该框架实时解码EEG信号以检测误差相关电位（ErrPs），采用两阶段流程：信号预处理和ErrP存在性的二分类。
• 通过从解码的ErrPs中导出辅助奖励函数，对深度Q网络（DQN）进行增强，从而塑造智能体的学习信号。
• 辅助奖励通过相邻状态之间的贝尔曼差分计算，结合通过学习基线函数t(·)获得的状态动力学信息。
• 将人类反馈建模为软Q策略，通过状态相关的组合系数β(e) = 3e^(-e/80)动态平衡环境奖励与人类奖励。
• 采用具有5个头的自举神经网络，在状态空间中泛化二元ErrP标签，提升泛化能力与鲁棒性。
• 通过在某一环境中训练ErrP解码器，并直接应用于未见过的游戏而无需重新训练，实现零样本迁移。

实验结果

研究问题

• RQ1 能否在复杂的2D导航环境中有效利用基于EEG的隐式反馈（通过ErrPs）来加速强化学习？
• RQ2 ErrP解码是否可在不同环境中实现无重训练迁移，从而支持零样本部署？
• RQ3 在存在噪声或错误人类反馈的情况下，所提出的鲁棒奖励塑形机制表现如何？
• RQ4 与显式人类标注相比，隐式EEG反馈在标注准确性、反馈延迟和用户舒适度方面是否更具优势？
• RQ5 在保持或提升学习速度的前提下，集成ErrP反馈能在多大程度上减少所需的人类查询次数？

主要发现

• 与无人类反馈的基线方法相比，所提框架将DRL训练速度加快2.25倍。
• 通过高效集成隐式反馈，该方法将所需的人类查询次数减少了75.56%。
• 实验验证了ErrP解码的零样本迁移：在某一游戏上训练的解码器可直接应用于未见过的游戏，无需重新训练。
• 在两名受试者（02和07）中，鲁棒奖励塑形机制均优于简单基线（使用自举神经网络），尤其在人类反馈错误率较高时表现更优。
• 基线函数t(·)显著提升了收敛速度与稳定性，在某些情况下优于简单方法。
• 状态相关的组合系数β(e)稳定了训练过程并增强了收敛性，证明其在平衡环境奖励与人类奖励中的关键作用。