[论文解读] Faster and Safer Training by Embedding High-Level Knowledge into Deep Reinforcement Learning

Haodi Zhang, Zihang Gao+4 more|arXiv (Cornell University)|Oct 22, 2019

Reinforcement Learning in Robotics参考文献 39被引用 10

一句话总结

本文提出规则插入学习（RIL）框架，将高层符号规则嵌入深度Q学习，以加速训练并提升安全性。通过在探索过程中动态应用可解释规则，RIL减少了灾难性动作，缓解了冷启动问题，并在不修改核心DQN架构的前提下增强了可解释性，从而在Flappy Bird和Grid World等环境中实现更快的收敛和更稳定的训练。

ABSTRACT

Deep reinforcement learning has been successfully used in many dynamic decision making domains, especially those with very large state spaces. However, it is also well-known that deep reinforcement learning can be very slow and resource intensive. The resulting system is often brittle and difficult to explain. In this paper, we attempt to address some of these problems by proposing a framework of Rule-interposing Learning (RIL) that embeds high level rules into the deep reinforcement learning. With some good rules, this framework not only can accelerate the learning process, but also keep it away from catastrophic explorations, thus making the system relatively stable even during the very early stage of training. Moreover, given the rules are high level and easy to interpret, they can be easily maintained, updated and shared with other similar tasks.

研究动机与目标

• 解决深度强化学习在早期训练阶段（冷启动问题）存在的训练时间长和不稳定性问题。
• 在高风险环境中提升探索安全性，避免灾难性动作的发生。
• 在无需专家示范或手动子任务划分的前提下，将人类可理解的高层领域规则集成到深度Q学习中。
• 通过可解释的规则模块，实现对学习策略的更易维护、迁移和适应，适用于相似任务。
• 提供一种可泛化的框架，以增强深度强化学习的可解释性与数据效率。

提出的方法

• 提出一种规则插入学习（RIL）框架，将符号规则集成到深度Q学习的动作选择过程中。
• 将规则表示为条件-动作对：若前提条件（环境状态）满足，则推荐一组动作，并采用随机选择机制。
• 根据训练阶段和规则类型（如启发式规则与安全规则）动态调整规则应用概率。
• 在保留原始DQN架构和训练流程的基础上，在ε-greedy探索过程中注入基于规则的动作建议。
• 使用形式逻辑（如一阶逻辑、答案集编程）表示规则，以确保与符号推理的兼容性。
• 允许规则在DQN学习到等效行为后逐渐失效，从而增强对学习策略的信心，并支持在新领域中的迁移能力。

实验结果

研究问题

• RQ1 高层符号规则是否能加速复杂环境中深度Q学习的训练过程？
• RQ2 安全规则是否能有效防止早期训练阶段的灾难性探索，降低失败风险？
• RQ3 规则集成如何影响学习到的深度强化学习策略的可解释性与可维护性？
• RQ4 在不损害DQN学习能力的前提下，规则在多大程度上可作为探索的引导？
• RQ5 该框架是否可通过规则复用与修改，支持在相似任务间的迁移学习？

主要发现

• 启发式规则的集成显著加速了Flappy Bird、Aircraft Shooting、Breakout和Grid World中的学习过程，降低了样本复杂度。
• 安全规则有效防止了智能体在早期训练阶段做出灾难性决策（如掉下悬崖或相撞），显著提升了训练稳定性。
• RIL框架通过提供稳定、规则引导的初始策略，缓解了冷启动问题，提升了早期性能表现。
• 随着训练推进，部分规则逐渐失效，表明DQN已内化规则行为，从而增强了对学习策略的信心。
• 使用可解释的高层规则显著提升了策略维护、更新与迁移至相似环境的便利性，优于纯黑箱深度学习方法。
• 该框架与标准DQN保持兼容，无需架构修改，同时提升了样本效率与安全性。