[论文解读] Reinforcement Learning with Supervision from Noisy Demonstrations

Kun-Peng Ning, Sheng-Jun Huang|arXiv (Cornell University)|Jun 14, 2020

Reinforcement Learning in Robotics参考文献 21被引用 7

一句话总结

本文提出 LfND，一种强化学习框架，通过基于其估计潜在效用的动态权重，自适应地利用带有噪声的专家示范。通过将策略梯度与使用价值函数增益作为加权信号的加权交叉熵损失相结合，LfND 提升了样本效率和鲁棒性，在高噪声比例下也能以更少的训练迭代次数实现更高性能。

ABSTRACT

Reinforcement learning has achieved great success in various applications. To learn an effective policy for the agent, it usually requires a huge amount of data by interacting with the environment, which could be computational costly and time consuming. To overcome this challenge, the framework called Reinforcement Learning with Expert Demonstrations (RLED) was proposed to exploit the supervision from expert demonstrations. Although the RLED methods can reduce the number of learning iterations, they usually assume the demonstrations are perfect, and thus may be seriously misled by the noisy demonstrations in real applications. In this paper, we propose a novel framework to adaptively learn the policy by jointly interacting with the environment and exploiting the expert demonstrations. Specifically, for each step of the demonstration trajectory, we form an instance, and define a joint loss function to simultaneously maximize the expected reward and minimize the difference between agent behaviors and demonstrations. Most importantly, by calculating the expected gain of the value function, we assign each instance with a weight to estimate its potential utility, and thus can emphasize the more helpful demonstrations while filter out noisy ones. Experimental results in various environments with multiple popular reinforcement learning algorithms show that the proposed approach can learn robustly with noisy demonstrations, and achieve higher performance in fewer iterations.

研究动机与目标

• 解决现有 RLED 方法假设专家示范完美这一局限，该假设在现实应用中往往不切实际。
• 通过有效利用带噪声或不完美的专家示范，提升强化学习的样本效率。
• 开发一种方法，自适应地识别并强调高质量示范实例，同时过滤掉噪声或具有误导性的示范。
• 在统一的联合学习框架中整合环境交互与示范利用。

提出的方法

• 将示范轨迹的每一步视为一个实例（状态，动作，奖励），以实现个体监督。
• 定义联合损失函数，结合策略梯度以最大化期望奖励，以及交叉熵损失以使智能体动作与示范对齐。
• 通过专家 Q 值 Q_E(s,a) 与智能体状态值 V_π(s) 的差值，计算价值函数的期望增益，以估计每个实例的潜在效用。
• 基于此期望增益为每个实例分配动态权重，强调高价值效用的示范，同时降低噪声或误导性示范的权重。
• 最小化所有实例的加权联合损失，以联合优化策略学习与示范利用。
• 在多种环境和多个强化学习算法（如 TRPO、PPO）中实现该框架，以验证其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 当无法获得完美示范时，强化学习智能体能否有效从带噪声的专家示范中学习？
• RQ2 如何估计单个示范实例的效用，以区分高质量与噪声示范？
• RQ3 基于价值函数增益的自适应加权是否能提升在带噪声示范下的样本效率与最终策略性能？
• RQ4 在不同噪声水平下，所提方法与标准强化学习和模仿学习基线相比表现如何？

主要发现

• 在所有测试环境中，LfND 方法在平均和最大累积奖励方面均持续优于标准强化学习算法（TRPO、PPO）和模仿学习基线。
• 随着噪声比例增加（从 0 到 1），LfND 与其他方法之间的性能差距进一步扩大，表明其对带噪声示范具有更强的鲁棒性。
• 根据价值函数增益估计出的平均权重较高的示范，其模仿学习性能显著更优，验证了效用估计的准确性。
• 在不同加权策略中，对数形式与线性形式（LfND-log、LfND-linear10/20）优于零一基线，证实了自适应加权的优势。
• 该方法显著减少了达到高性能所需的训练迭代次数，尤其在示范噪声较高的环境中效果更明显。
• 所提出的加权机制成功过滤了具有误导性的示范，同时强调了对策略改进贡献最大的示范。