[论文解读] $H_\infty$ Model-free Reinforcement Learning with Robust Stability Guarantee

Minghao Han, Yuan Tian+3 more|arXiv (Cornell University)|Nov 7, 2019

Reinforcement Learning in Robotics参考文献 12被引用 8

一句话总结

本文提出了一种无模型强化学习框架——基于鲁棒李雅普诺夫函数的演员-critic（RLAC）方法，通过联合学习李雅普诺夫函数与策略，并采用最大熵目标，确保了鲁棒稳定性与$H_\infty$性能。该方法在大脉冲扰动和参数不确定性下仍能保持稳定，且在仿真中优于当前最先进的强化学习与经典控制基线方法，特别是在恢复能力方面，可应对高达最大控制输入6倍的扰动。

ABSTRACT

Reinforcement learning is showing great potentials in robotics applications, including autonomous driving, robot manipulation and locomotion. However, with complex uncertainties in the real-world environment, it is difficult to guarantee the successful generalization and sim-to-real transfer of learned policies theoretically. In this paper, we introduce and extend the idea of robust stability and $H_\infty$ control to design policies with both stability and robustness guarantee. Specifically, a sample-based approach for analyzing the Lyapunov stability and performance robustness of a learning-based control system is proposed. Based on the theoretical results, a maximum entropy algorithm is developed for searching Lyapunov function and designing a policy with provable robust stability guarantee. Without any specific domain knowledge, our method can find a policy that is robust to various uncertainties and generalizes well to different test environments. In our experiments, we show that our method achieves better robustness to both large impulsive disturbances and parametric variations in the environment than the state-of-art results in both robust and generic RL, as well as classic control. Anonymous code is available to reproduce the experimental results at https://github.com/RobustStabilityGuaranteeRL/RobustStabilityGuaranteeRL.

研究动机与目标

• 解决无模型强化学习在真实机器人应用中缺乏理论鲁棒性与稳定性保证的问题。
• 开发一种基于样本的方法，用于分析李雅普诺夫稳定性与$H_\infty$性能，而无需依赖系统模型。
• 设计一种可证明对大脉冲扰动与环境参数不确定性均具有鲁棒性的策略。
• 在无需领域特定知识的情况下，实现对未见过的测试环境的泛化能力。
• 通过最大熵框架，将鲁棒控制理论与深度强化学习相结合，以实现稳定性与性能的可证明保证。

提出的方法

• 提出一种新颖的基于样本的李雅普诺夫稳定性与$H_\infty$性能分析方法，利用闭环系统经验数据。
• 开发RLAC算法，通过最大熵目标联合优化李雅普诺夫函数与随机策略。
• 采用软演员-critic（SAC）框架作为策略优化器，并为李雅普诺夫函数使用独立的神经网络。
• 对李雅普诺夫函数施加约束，以确保其为正定函数，并在策略动态下期望递减。
• 通过$H_\infty$控制引入鲁棒性能准则，确保在最坏情况扰动下成本增长有界。
• 采用基于时间范围的无限时域成本与扰动能量近似，以实现实际训练。

实验结果

研究问题

• RQ1 无模型强化学习方法是否能在不依赖已知系统模型的前提下，保证李雅普诺夫稳定性与$H_\infty$鲁棒性？
• RQ2 通过最大熵目标联合学习李雅普诺夫函数与策略，是否能提升对大脉冲扰动的鲁棒性？
• RQ3 在环境参数不确定性下，所提方法是否比当前最先进的强化学习与经典控制方法具有更好的泛化能力？
• RQ4 与标准强化学习算法相比，学习到的李雅普诺夫函数在提升稳定性与性能方面有何改进？
• RQ5 该方法是否能在保持样本效率的同时，实现可证明的鲁棒性，并达到与SOTA强化学习相当的性能？

主要发现

• RLAC智能体在恢复能力上表现优异，成功应对了最大控制输入4至6倍的脉冲扰动，而所有基线方法几乎全部失败。
• 在大脉冲扰动下，RLAC的死亡率显著低于所有基线方法，展现出更强的鲁棒性。
• 在参数不确定性评估中，RLAC在不同质量与结构参数下的泛化能力优于所有基线方法。
• RLAC所学习的策略在多样化测试环境中均保持了低总成本与高稳定性，即使面对未见过的参数变化亦然。
• 李雅普诺夫函数与策略的联合优化，使得无需先验领域知识或模型假设，即可获得稳定且鲁棒的策略。
• 所有算法在训练中均收敛至相似的最终性能，但唯有RLAC实现了对极端扰动与不确定性的鲁棒性。