[论文解读] KoGuN: Accelerating Deep Reinforcement Learning via Integrating Human Suboptimal Knowledge

Peng Zhang, Jianye Hao+5 more|arXiv (Cornell University)|Feb 18, 2020

Reinforcement Learning in Robotics参考文献 17被引用 5

一句话总结

KoGuN 是一种新颖的深度强化学习框架，通过基于模糊规则的知识控制器和可训练的精炼模块，整合人类提供的次优知识，从而加速学习过程。通过端到端训练，它显著提升了样本效率，即使在人类先验知识质量较低或稀疏奖励环境中，也能实现更快的收敛。

ABSTRACT

Reinforcement learning agents usually learn from scratch, which requires a large number of interactions with the environment. This is quite different from the learning process of human. When faced with a new task, human naturally have the common sense and use the prior knowledge to derive an initial policy and guide the learning process afterwards. Although the prior knowledge may be not fully applicable to the new task, the learning process is significantly sped up since the initial policy ensures a quick-start of learning and intermediate guidance allows to avoid unnecessary exploration. Taking this inspiration, we propose knowledge guided policy network (KoGuN), a novel framework that combines human prior suboptimal knowledge with reinforcement learning. Our framework consists of a fuzzy rule controller to represent human knowledge and a refine module to fine-tune suboptimal prior knowledge. The proposed framework is end-to-end and can be combined with existing policy-based reinforcement learning algorithm. We conduct experiments on both discrete and continuous control tasks. The empirical results show that our approach, which combines human suboptimal knowledge and RL, achieves significant improvement on learning efficiency of flat RL algorithms, even with very low-performance human prior knowledge.

研究动机与目标

• 通过利用人类提供的次优知识（通常不精确且不完整）来加速深度强化学习。
• 解决将不确定的、高层次的人类知识（如常识）整合到强化学习中，而无需专家示范的挑战。
• 设计一个可端到端训练的框架，结合模糊逻辑进行知识表示，并通过神经网络精炼模块改进策略。
• 在密集奖励和稀疏奖励设置下提升学习效率，尤其是在奖励信号稀少的情况下。
• 通过人类启发的先验知识‘热启动’学习过程，实现更快收敛并减少探索。

提出的方法

• 该框架使用模糊规则控制器表示人类次优知识，其中规则基于语言变量（如‘小’、‘正’、‘负’）定义状态特征。
• 一个可训练的精炼模块（以超网络或标准神经网络实现）调整知识控制器的行动偏好，以纠正不精确性并适应任务需求。
• 整个策略网络通过基于策略的强化学习算法进行端到端训练，梯度可反向传播通过知识控制器和精炼模块。
• 模糊逻辑支持在不确定性下的鲁棒推理，使系统能有效处理不精确和不完整的知识。
• 知识控制器在训练过程中被优化，使初始人类先验能够被精炼并适应任务分布。
• 该方法与现有的基于策略的强化学习算法（如 PPO）兼容，可应用于离散和连续控制任务。

实验结果

研究问题

• RQ1 即使人类提供的次优知识质量较低，是否仍能显著加速深度强化学习？
• RQ2 基于模糊逻辑的知识表示如何提升强化学习中的样本效率？
• RQ3 可训练的精炼模块是否能有效纠正不精确的人类先验并提升学习速度？
• RQ4 KoGuN 框架在稀疏奖励环境中是否优于标准强化学习方法，尤其是在奖励信号稀疏时？
• RQ5 在训练过程中，知识控制器在多大程度上可被优化以适应任务？

主要发现

• 在离散和连续控制任务中，KoGuN 即使在人类提供的规则质量较差时，收敛速度也显著快于标准 PPO。
• 该方法显著减少了达到高性能所需的训练更新次数，展现出强大的样本效率提升。
• 在延迟奖励的稀疏奖励设置中（例如 d=10），KoGuN 仍能保持有效学习，而标准 PPO 因稀疏信用分配而无法收敛。
• 消融实验表明，使用超网络作为精炼模块的性能优于标准神经网络，因其能更好地建模复杂且与状态相关的精炼过程。
• 可训练的知识控制器优于固定版本，因为它允许在训练过程中对初始人类先验进行优化，从而提升策略适应能力。
• 纯知识控制器（无精炼）的性能较低，但 KoGuN 显著提升了其表现，证明了精炼模块的显著价值。