[论文解读] Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach

Huixin Zhan, Tao Feng+1 more|arXiv (Cornell University)|Oct 15, 2020

Reinforcement Learning in Robotics参考文献 30被引用 4

一句话总结

本文提出了一种基于生成对抗网络（GAN）的偏好强化学习框架，通过训练一个低维对抗网络来模仿人类偏好，显著减少了人类反馈的需求，仅需先前方法所需人类查询的0.2%，即可实现相当的性能表现，同时在MuJoCo运动控制任务中将人类标注时间减少了高达99.8%。

ABSTRACT

Human demonstrations can provide trustful samples to train reinforcement learning algorithms for robots to learn complex behaviors in real-world environments. However, obtaining sufficient demonstrations may be impractical because many behaviors are difficult for humans to demonstrate. A more practical approach is to replace human demonstrations by human queries, i.e., preference-based reinforcement learning. One key limitation of the existing algorithms is the need for a significant amount of human queries because a large number of labeled data is needed to train neural networks for the approximation of a continuous, high-dimensional reward function. To reduce and minimize the need for human queries, we propose a new GAN-assisted human preference-based reinforcement learning approach that uses a generative adversarial network (GAN) to actively learn human preferences and then replace the role of human in assigning preferences. The adversarial neural network is simple and only has a binary output, hence requiring much less human queries to train. Moreover, a maximum entropy based reinforcement learning algorithm is designed to shape the loss towards the desired regions or away from the undesired regions. To show the effectiveness of the proposed approach, we present some studies on complex robotic tasks without access to the environment reward in a typical MuJoCo robot locomotion environment. The obtained results show our method can achieve a reduction of about 99.8% human time without performance sacrifice.

研究动机与目标

• 解决在机器人控制中基于偏好的强化学习所面临的高人类反馈成本问题。
• 通过更高效地学习人类偏好，减少对大量人类示范或重复查询的依赖。
• 设计一个低维生成对抗网络（GAN），在极少人类输入下准确建模人类偏好决策。
• 将人类偏好标注与奖励函数学习解耦，使同一组查询可被重复用于多种目的。
• 在无法获取真实奖励函数的情况下，实现高性能的机器人策略学习。

提出的方法

• 在少量人类提供的轨迹对偏好比较数据上训练一个二元输出的GAN。
• 训练完成的GAN在后续偏好标注中替代人类反馈，显著降低人类参与度。
• 采用最大熵强化学习算法，引导策略向GAN识别出的偏好行为靠拢。
• 人类查询仅用于初始训练GAN及在稀疏时间点进行微调，最大限度减少交互。
• 使用GAN-test指标评估GAN，衡量其对新生成的轨迹对的泛化能力。
• 框架将偏好建模（通过GAN实现）与策略学习分离，实现高效且可扩展的反馈利用。

实验结果

研究问题

• RQ1 低维GAN是否能在仅使用极少人类查询的情况下，有效建模机器人行为学习中的偏好？
• RQ2 GAN在不降低性能的前提下，能在多大程度上替代人类反馈用于基于偏好的强化学习？
• RQ3 与基线方法相比，该方法在人类反馈效率方面表现如何？
• RQ4 GAN是否能对未见过的轨迹对表现出良好泛化能力，表明其偏好泛化能力稳健？
• RQ5 维持高性能策略学习所需的最低人类查询频率是多少？

主要发现

• 与基线方法相比，该方法将人类反馈减少了约99.8%，性能几乎完全一致。
• 仅需先前方法所需人类查询的0.2%，且相比[9]中的基线方法减少了84%。
• GAN-test指标显示性能高且稳定（例如某些情况下>0.95），表明学习到的偏好具有强泛化能力。
• 在仅1–2%的训练episode（如第77或90/182集）时进行GAN微调，即可保持高准确度，表明极少的人类输入已足够。
• GAN增强方法在性能上可与使用真实奖励函数的标准强化学习相媲美，证明其在基于偏好的模仿学习中的有效性。
• 即使在真实奖励函数未知的情况下，该方法仍能实现有效的策略学习，完全依赖人类偏好和GAN生成的标签。