[论文解读] CT-DQN: Control-Tutored Deep Reinforcement Learning

Francesco De Lellis, Marco Coraggio+3 more|arXiv (Cornell University)|Dec 2, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

CT-DQN 提出了一种控制指导的深度强化学习框架，通过将一个简单、基于模型的控制导师整合到深度 Q-网络中，以加速学习过程。通过偶尔利用基于近似系统动态的启发式控制动作来引导探索，CT-DQN 在三个 OpenAI Gym 环境中实现了显著更快的收敛速度和更高的数据效率，相较于标准 DQN，以更少的训练回合达到更好或相当的性能表现。

ABSTRACT

One of the major challenges in Deep Reinforcement Learning for control is the need for extensive training to learn the policy. Motivated by this, we present the design of the Control-Tutored Deep Q-Networks (CT-DQN) algorithm, a Deep Reinforcement Learning algorithm that leverages a control tutor, i.e., an exogenous control law, to reduce learning time. The tutor can be designed using an approximate model of the system, without any assumption about the knowledge of the system's dynamics. There is no expectation that it will be able to achieve the control objective if used stand-alone. During learning, the tutor occasionally suggests an action, thus partially guiding exploration. We validate our approach on three scenarios from OpenAI Gym: the inverted pendulum, lunar lander, and car racing. We demonstrate that CT-DQN is able to achieve better or equivalent data efficiency with respect to the classic function approximation solutions.

研究动机与目标

• 为解决深度强化学习在控制任务中通常存在的长训练时间问题，提出一种加速策略学习的机制。
• 设计一种框架，利用基于近似系统模型的控制导师，而无需掌握系统动力学的完整知识。
• 通过在训练过程中以启发式控制建议引导探索，提升深度 Q-学习的数据效率。
• 在日益复杂的控制任务中验证该方法，展示其鲁棒性与可扩展性。
• 为深度强化学习中导师设计与性能边界提供形式化分析的基础。

提出的方法

• 提出 CT-DQN，作为深度 Q-网络（DQN）的扩展，通过在训练期间引入控制导师来建议动作。
• 该导师是一种基于系统动力学近似模型的简单反馈控制律，无需精确掌握真实动力学。
• 在学习过程中，以固定概率 $\omega$ 由导师建议动作，将导师建议与 DQN 策略的探索行为混合。
• 导师使用基于状态的启发式规则：例如，当速度较低且角度较小时加速，当角度超过阈值时刹车。
• 方法采用经验回放、目标网络和标准 DQN 组件，超参数根据各环境进行调优。
• 该框架在三个环境（倒立摆、月球着陆器、赛车）中进行评估，同时使用表格形式和深度神经网络近似器。

实验结果

研究问题

• RQ1 一个简单、基于模型的控制导师是否能在不依赖系统精确动力学知识的前提下，显著缩短深度强化学习中的训练时间？
• RQ2 控制导师的集成如何影响复杂控制任务中的数据效率与最终策略性能？
• RQ3 导师建议的质量是否与训练过程中观察到的学习加速程度相关？
• RQ4 CT-DQN 是否能在多种控制场景中，以更高的累积奖励和更快的收敛速度超越标准 DQN？
• RQ5 基于有限系统信息的导师设计，对最终策略的稳定性和有效性有何影响？

主要发现

• 在所有三个环境中，CT-DQN 均实现了比标准 DQN 更快的学习收敛速度，累积奖励随训练回合数更迅速提升。
• 在赛车环境中，经过 250 次训练回合后，CT-DQN 在随机生成的赛道上实现了显著更高的贪婪策略性能（$J^{\pi_{\text{greedy}}}$），优于 DQN。
• 即使导师基于基本启发式（如角度与速度阈值）设计得非常简单，CT-DQN 仍显著缩短了学习时间，表明其对导师质量具有鲁棒性。
• 在月球着陆器和赛车等复杂任务中，导师提供的指导尤为有效，尽管其对动力学知识掌握有限。
• 该方法在不损害策略有效性的前提下，实现了持续的性能提升，即使导师自身无法独立解决任务。
• 超参数调优结果表明，该方法在不同网络架构与训练配置下均保持稳定且有效。