[论文解读] Human AI interaction loop training: New approach for interactive reinforcement learning

Néda Navidi|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 25被引用 5

一句话总结

本文提出了一种混合的人机/人工智能交互循环训练框架，通过结合SARSA与A3C算法，将模仿学习（IL）与强化学习（RL）融合，以提升样本效率并加速学习过程。通过利用来自人类教师的实时直接（二元奖励）和间接（示范基础）反馈，该方法减轻了探索负担，在连续控制环境（如Cart-Pole和Mountain Car）中，相比独立的RL方法，数据效率提高了53.8%–85.7%。

ABSTRACT

Reinforcement Learning (RL) in various decision-making tasks of machine learning provides effective results with an agent learning from a stand-alone reward function. However, it presents unique challenges with large amounts of environment states and action spaces, as well as in the determination of rewards. This complexity, coming from high dimensionality and continuousness of the environments considered herein, calls for a large number of learning trials to learn about the environment through Reinforcement Learning. Imitation Learning (IL) offers a promising solution for those challenges using a teacher. In IL, the learning process can take advantage of human-sourced assistance and/or control over the agent and environment. A human teacher and an agent learner are considered in this study. The teacher takes part in the agent training towards dealing with the environment, tackling a specific objective, and achieving a predefined goal. Within that paradigm, however, existing IL approaches have the drawback of expecting extensive demonstration information in long-horizon problems. This paper proposes a novel approach combining IL with different types of RL methods, namely state action reward state action (SARSA) and asynchronous advantage actor-critic (A3C) agents, to overcome the problems of both stand-alone systems. It is addressed how to effectively leverage the teacher feedback, be it direct binary or indirect detailed for the agent learner to learn sequential decision-making policies. The results of this study on various OpenAI Gym environments show that this algorithmic method can be incorporated with different combinations, significantly decreases both human endeavor and tedious exploration process.

研究动机与目标

• 解决连续、高维强化学习环境中样本复杂度高和奖励稀疏的问题。
• 克服独立强化学习与传统模仿学习方法的局限性，特别是在需要大量示范的长时序任务中。
• 将人类教师的反馈——包括直接二元奖励与间接动作示范——整合到实时在线反馈循环中。
• 通过混合RL-IL训练，提升序列决策任务中的样本效率与收敛速度。
• 开发一种协作式、自适应框架，使智能体既能从奖励信号学习，也能通过教师指导进行行为克隆。

提出的方法

• 设计一种混合RL-IL架构，结合基于策略的（A3C）与基于价值的（SARSA）强化学习，并引入在线模仿学习。
• 实现一个反馈管理模块，用于处理实时的人类输入，包括二元奖励（正/负）与动作示范。
• 采用在线IL根据教师动作增量式更新智能体策略，相比离线行为克隆，可减少分布偏移。
• 在每次智能体动作后整合教师反馈，实现即时策略修正与动态适应。
• 将该混合框架应用于连续控制环境（OpenAI Gym），结合奖励塑形与基于示范的模仿学习。
• 采用异步优势演员评论家（A3C）与SARSA进行联合优化，其中IL引导探索，RL优化策略。

实验结果

研究问题

• RQ1 在连续强化学习环境中，实时整合人类反馈是否能显著减少所需的学习试运行次数？
• RQ2 将IL与基于策略的（A3C）和基于价值的（SARSA）RL方法结合，对样本效率与收敛速度有何影响？
• RQ3 同时使用直接反馈（二元奖励）与间接反馈（动作示范）相较于独立的RL或IL，能在多大程度上提升策略学习效果？
• RQ4 该混合IL-RL框架在长时序、高维控制任务（如Cart-Pole与Mountain Car）中的表现如何？
• RQ5 在与IL结合时，A3C与SARSA在数据效率与稳定性方面的相对影响是什么？

主要发现

• 在Cart-Pole环境中，混合A3C/IL方法相比独立SARSA，数据效率提高了85.7%。
• 在Cart-Pole环境中，混合A3C/IL相比独立A3C提高了53.8%的数据效率，相比混合SARSA/IL提高了14.2%。
• 在更复杂的Mountain Car环境中，混合A3C/IL相比独立SARSA，数据效率提高了约60%。
• 混合A3C/IL表现出更快的收敛速度，在Cart-Pole环境中于第70集即达到稳定性能，优于独立A3C与SARSA。
• 混合SARSA/IL在Mountain Car环境中表现出显著振荡，直至第20集才稳定，表明基于价值的方法在与IL结合时存在不稳定性。
• 在Mountain Car环境中，IL与A3C结合使数据效率相比独立A3C提升了33.4%。