[论文解读] FRESH: Interactive Reward Shaping in High-Dimensional State Spaces using Human Feedback

Baicen Xiao, Qifan Lu+4 more|arXiv (Cornell University)|Jan 19, 2020

Reinforcement Learning in Robotics参考文献 46被引用 13

一句话总结

FRESH 提出了一种基于反馈的奖励塑形框架，将人类反馈整合到高维状态空间的深度强化学习中，利用带有集成不确定性估计的反馈神经网络，将人类标注的状态-动作质量泛化到未见过的轨迹上。在 Bowling 游戏中，其得分比人类专家高出 21.4%，在 Skiing 游戏中达到专家水平，优于当前最先进（SOTA）的深度强化学习算法。

ABSTRACT

Reinforcement learning has been successful in training autonomous agents to accomplish goals in complex environments. Although this has been adapted to multiple settings, including robotics and computer games, human players often find it easier to obtain higher rewards in some environments than reinforcement learning algorithms. This is especially true of high-dimensional state spaces where the reward obtained by the agent is sparse or extremely delayed. In this paper, we seek to effectively integrate feedback signals supplied by a human operator with deep reinforcement learning algorithms in high-dimensional state spaces. We call this FRESH (Feedback-based REward SHaping). During training, a human operator is presented with trajectories from a replay buffer and then provides feedback on states and actions in the trajectory. In order to generalize feedback signals provided by the human operator to previously unseen states and actions at test-time, we use a feedback neural network. We use an ensemble of neural networks with a shared network architecture to represent model uncertainty and the confidence of the neural network in its output. The output of the feedback neural network is converted to a shaping reward that is augmented to the reward provided by the environment. We evaluate our approach on the Bowling and Skiing Atari games in the arcade learning environment. Although human experts have been able to achieve high scores in these environments, state-of-the-art deep learning algorithms perform poorly. We observe that FRESH is able to achieve much higher scores than state-of-the-art deep learning algorithms in both environments. FRESH also achieves a 21.4% higher score than a human expert in Bowling and does as well as a human expert in Skiing.

研究动机与目标

• 为解决高维状态空间中稀疏且延迟的奖励问题，尽管人类在这些任务中表现出色，但深度强化学习智能体仍难以应对。
• 在无需专家示范或复杂偏好建模的情况下，实现人类反馈在深度强化学习中的有效整合。
• 通过带有不确定性估计的神经网络，将人类对状态和动作的反馈泛化到测试时未见过的状态和动作。
• 通过人类在环反馈对环境奖励进行塑形，提升复杂环境（如 Atari 游戏）中的样本效率和最终性能。
• 证明人类反馈可被用于超越特定高维控制任务中的 SOTA 强化学习智能体和人类专家。

提出的方法

• 人类操作员审查来自回放缓冲区的轨迹，并将每个状态-动作对标记为“好”、“坏”或“无法判断”。
• 反馈存储在反馈缓冲区中，并用于训练深度反馈神经网络，以预测未见状态-动作对的质量。
• 采用具有共享架构的神经网络集成来估计模型不确定性与预测置信度。
• 反馈网络的输出被转换为塑形奖励信号，并添加到环境提供的奖励中。
• 将组合奖励（环境奖励 + 塑形奖励）用于通过异策略算法（如 DQN 或 SAC）训练深度强化学习智能体。
• 在训练过程中对反馈网络进行微调，不确定性估计有助于优先处理模糊或不确定状态的反馈。

实验结果

研究问题

• RQ1 在高维状态空间中，对轨迹中状态-动作对的人类反馈是否能显著提升深度强化学习智能体的样本效率和最终性能？
• RQ2 如何利用深度神经网络有效将非专家人类操作员的反馈泛化到未见过的状态和动作？
• RQ3 在人类玩家表现优异的环境中，基于反馈的奖励塑形是否能超越当前最先进（SOTA）的深度强化学习算法？
• RQ4 在复杂视频游戏环境中，人类反馈在多大程度上可使性能超越人类专家？
• RQ5 通过神经网络集成方法进行模型不确定性估计，如何提升基于反馈的奖励塑形的鲁棒性与可靠性？

主要发现

• 在 Bowling 环境中，FRESH 的平均得分为 187，比人类专家基线高出 21.4%。
• FRESH 在 Bowling 中取得的最高分为 200 以上，表明该任务中其性能已超越人类能力。
• 在 Skiing 环境中，FRESH 的平均得分为 -4400，与人类专家玩家表现相当。
• FRESH 在 Bowling 和 Skiing 中均显著优于当前最先进（SOTA）的深度强化学习算法，证明了人类在环反馈塑形的有效性。
• 采用集成反馈网络提升了泛化能力与置信度估计，即使在状态空间中反馈稀疏区域也能生成可靠的塑形奖励。
• 该框架成功利用对轨迹的人类反馈进行奖励塑形，减少了对大量环境交互的需求，提升了学习效率。