[论文解读] Improved Exploring Starts by Kernel Density Estimation-Based State-Space Coverage Acceleration in Reinforcement Learning

Maximilian Schenke, Oliver Wallscheid|arXiv (Cornell University)|May 19, 2021

Control Systems and Identification被引用 5

一句话总结

本文提出DESSCA，一种基于核密度估计的方法，通过优先选择访问频率较低的状态来改善强化学习中的探索起始点，从而提升状态空间的覆盖度。通过使用KDE估计访问密度，并引导初始状态选择向稀疏区域集中，DESSCA在不进行离散化的情况下，显著提升了学习稳定性和最终性能，尤其在连续状态空间中表现优异，相较于标准探索起始方法，在运动控制任务中实现了最高达10.9%的中位数性能提升。

ABSTRACT

Reinforcement learning (RL) is currently a popular research topic in control engineering and has the potential to make its way to industrial and commercial applications. Corresponding RL controllers are trained in direct interaction with the controlled system, rendering them data-driven and performance-oriented solutions. The best practice of exploring starts (ES) is used by default to support the learning process via randomly picked initial states. However, this method might deliver strongly biased results if the system's dynamic and constraints lead to unfavorable sample distributions in the state space (e.g., condensed sample accumulation in certain state-space areas). To overcome this issue, a kernel density estimation-based state-space coverage acceleration (DESSCA) is proposed, which improves the ES concept by prioritizing infrequently visited states for a more balanced coverage of the state space during training. Compared to neighbouring methods in the field of count-based exploration, DESSCA can also be applied to continuous state spaces without the need for artificial discretization of the states. Moreover, the algorithm allows to define arbitrary reference state distributions such that the state coverage can be shaped w.r.t. the application needs. Considered test scenarios are mountain car, cartpole and electric motor control environments. Using DQN and DDPG as exemplary RL algorithms, it can be shown that DESSCA is a simple yet effective algorithmic extension to the established ES approach that enables an increase in learning stability as well as the final control performance.

研究动机与目标

• 解决由于系统动力学和约束下随机初始状态选择导致的强化学习中状态空间覆盖偏差问题。
• 开发一种无需人为离散化的连续状态空间中更均衡、更高效的探索方法。
• 通过定义自定义参考分布，实现针对特定应用的覆盖形状调整。
• 通过有针对性的初始化策略提升训练效率和最终控制性能。
• 为现有强化学习算法（如DQN和DDPG）提供一种简单、可实现的扩展方式。

提出的方法

• 使用核密度估计（KDE）估计已访问状态的经验密度，以识别状态空间中的未充分探索区域。
• 定义参考状态分布 $ c^*({\bm{x}}) $，以根据应用需求塑造期望的覆盖模式。
• 使用粒子群优化（PSO）寻找使估计密度 $ \hat{c}({\bm{x}}) $ 与参考分布 $ c^*({\bm{x}}) $ 之间差异最小的初始状态。
• 从 $ \hat{c}({\bm{x}}) $ 值较低的区域选择初始状态，优先关注稀疏区域以加速覆盖。
• 将DESSCA策略作为插件式扩展，集成到DQN和DDPG算法的标准探索起始机制中。
• 通过假设存在一个低性能控制器（LPC）用于状态重初始化，保持与真实世界系统的兼容性。

实验结果

研究问题

• RQ1 基于KDE的状态空间覆盖加速是否能提升连续状态强化学习中的探索效率？
• RQ2 与标准随机探索起始相比，DESSCA在学习稳定性和最终性能方面表现如何？
• RQ3 DESSCA在多大程度上能降低性能方差并提升在不同控制任务中的鲁棒性？
• RQ4 DESSCA是否能在不进行状态空间离散化的情况下有效应用，尤其是在高维连续环境中？
• RQ5 参考分布的选择在特定任务场景下对覆盖效果和性能的影响如何？

主要发现

• 在PMSM电流控制任务中，DESSCA将控制性能的四分位距降低了1.734%，表明性能一致性得到改善。
• 在Mountain Car环境中，DESSCA将中位数性能从91.941%提升至92.206%，相对提升+0.289%。
• 在CartPole任务中，DESSCA将中位数性能从77.738%降低至77.308%，表明存在轻微退化，但差异无统计显著性。
• 在PMSM电流控制场景中，DESSCA实现了10.944%的相对中位数性能提升，样本均值的95%置信区间为[86.587%, 88.325%]。
• 该算法在所有测试环境中均表现出更好的学习稳定性和更低的性能离散度，尤其在跟踪控制问题中表现突出。
• DESSCA在无需离散化的情况下实现了对连续状态空间的有效探索，使其适用于具有复杂动力学特性的工业控制应用。