[论文解读] Explanation Augmented Feedback in Human-in-the-Loop Reinforcement Learning

Lin Guan, Mudit Verma+1 more|arXiv (Cornell University)|Jun 26, 2020

Reinforcement Learning in Robotics参考文献 40被引用 11

一句话总结

本文提出 EXPAND，一种人机协同强化学习框架，通过将二元好坏反馈与视觉显著性图结合，提升样本效率。通过基于显著区域扰动状态，EXPAND 提升了学习效率，在包括 Pixel-Taxi 和 Atari 游戏在内的五个任务中，显著提升了环境和人类反馈的样本效率。

ABSTRACT

Human-in-the-loop Reinforcement Learning (HRL) aims to integrate human guidance with Reinforcement Learning (RL) algorithms to improve sample efficiency and performance. A common type of human guidance in HRL is binary evaluative good or bad feedback for queried states and actions. However, this type of learning scheme suffers from the problems of weak supervision and poor efficiency in leveraging human feedback. To address this, we present EXPAND (EXPlanation AugmeNted feeDback) which provides a visual explanation in the form of saliency maps from humans in addition to the binary feedback. EXPAND employs a state perturbation approach based on salient information in the state to augment the binary feedback. We choose five tasks, namely Pixel-Taxi and four Atari games, to evaluate this approach. We demonstrate the effectiveness of our method using two metrics: environment sample efficiency and human feedback sample efficiency. We show that our method significantly outperforms previous methods. We also analyze the results qualitatively by visualizing the agent's attention. Finally, we present an ablation study to confirm our hypothesis that augmenting binary feedback with state salient information results in a boost in performance.

研究动机与目标

• 为解决基于二元反馈的人机协同强化学习中弱监督和低效率的局限性。
• 通过结合二元反馈与视觉解释（显著性图），提升样本效率。
• 探究基于显著信息的状态扰动是否能提升学习性能。
• 在多样化的环境中评估该方法，包括 Pixel-Taxi 和 Atari 游戏。
• 验证解释增强反馈可带来更优智能体性能的假设。

提出的方法

• 提出 EXPAND 框架，结合二元评价反馈与人工提供的显著性图，以指导学习过程。
• 采用状态扰动技术，基于显著性信息修改状态，以生成额外的训练信号。
• 利用显著性图识别关键状态区域，并对这些区域进行扰动，以模拟多样化但有意义的状态变化。
• 通过扰动状态增强二元反馈，为强化学习智能体构建更丰富的监督信号。
• 采用反馈聚合机制，在策略学习过程中整合二元反馈与基于扰动的信号。
• 将该方法应用于五个环境：Pixel-Taxi 和四个 Atari 游戏，使用标准强化学习基准。

实验结果

研究问题

• RQ1 在人机协同强化学习中，将二元反馈与视觉显著性解释结合，是否能提升样本效率？
• RQ2 与标准二元反馈相比，基于显著区域的状态扰动集成对学习性能有何影响？
• RQ3 解释增强反馈在多大程度上减少了有效学习所需的反馈交互次数？
• RQ4 基于显著性的扰动如何影响智能体的关注机制与策略泛化能力？
• RQ5 显著性信息与二元反馈在驱动性能提升方面，各自贡献如何？

主要发现

• 与仅使用二元反馈的基线方法相比，EXPAND 显著提升了环境样本效率。
• 该方法在更少的人类反馈样本下实现了更高的学习性能，证明了人类反馈样本效率的提升。
• 定性分析表明，智能体学会了关注状态中的显著区域，与人类提供的解释保持一致。
• 消融实验确认，若移除基于显著性的扰动，性能将下降，验证了该方法的核心假设。
• 在所有五个评估任务中，包括 Pixel-Taxi 和四个 Atari 游戏，该方法均优于先前方法。
• 视觉解释的整合使策略学习过程更加稳定且收敛更快。