[论文解读] MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty

Anubhav Guha, Anuradha M. Annaswamy|arXiv (Cornell University)|Nov 20, 2020

Reinforcement Learning in Robotics参考文献 40被引用 5

一句话总结

该论文提出MRAC-RL，一种新颖的框架，将模型参考自适应控制（MRAC）置于内环，强化学习（RL）置于外环，以在参数化模型不确定性下实现实时策略自适应。通过利用自适应控制实时校正建模误差，该框架显著提升了仿真到现实世界部署中的参考轨迹跟踪性能并降低了代价，即使在参数误差高达±100%的情况下，其在倒立摆任务中也优于SOTA的RL算法（如PPO、SAC和DDPG）。

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully used to develop control policies for dynamical systems. For many such systems, these policies are trained in a simulated environment. Due to discrepancies between the simulated model and the true system dynamics, RL trained policies often fail to generalize and adapt appropriately when deployed in the real-world environment. Current research in bridging this sim-to-real gap has largely focused on improvements in simulation design and on the development of improved and specialized RL algorithms for robust control policy generation. In this paper we apply principles from adaptive control and system identification to develop the model-reference adaptive control & reinforcement learning (MRAC-RL) framework. We propose a set of novel MRAC algorithms applicable to a broad range of linear and nonlinear systems, and derive the associated control laws. The MRAC-RL framework utilizes an inner-loop adaptive controller that allows a simulation-trained outer-loop policy to adapt and operate effectively in a test environment, even when parametric model uncertainty exists. We demonstrate that the MRAC-RL approach improves upon state-of-the-art RL algorithms in developing control policies that can be applied to systems with modeling errors.

研究动机与目标

• 为解决由于仿真与真实系统之间存在建模误差而导致的强化学习中持续存在的仿真到现实的泛化差距。
• 开发一种框架，实现在不重新训练或使用领域随机化的情况下，对参数不确定性实时适应RL训练的策略。
• 利用模型参考自适应控制（MRAC）的理论稳定性保证，确保在不确定性下系统行为收敛至期望状态。
• 证明将自适应控制与RL结合可提升基准控制任务中跟踪误差和代价最小化的性能表现。
• 实现与现有鲁棒RL算法或仿真技术的模块化扩展。

提出的方法

• MRAC-RL框架采用基于MRAC原理的内环自适应控制器，实时校正参数化模型不确定性。
• 外环控制策略通过强化学习（如PPO、SAC、DDPG）在仿真环境中训练，并在真实世界部署期间保持固定。
• 自适应控制器利用参考模型定义期望的系统行为，并在存在参数失配的情况下驱动实际系统匹配该行为。
• 关键方程包括（5）、（6）、（8）和（9）中的控制律，其在温和条件下可确保渐近稳定性和跟踪误差收敛至零。
• 该框架具有理论基础，稳定性证明（定理3.1–3.4）表明在参数不确定性下，lim_{t→∞} ||e(t)|| = 0。
• 该方法应用于线性和非线性倒立摆任务，通过跟踪误差和代价指标评估性能。

实验结果

研究问题

• RQ1 能否有效将自适应控制层与预训练的RL策略集成，以在存在参数化模型不确定性时提升鲁棒性？
• RQ2 当在存在建模误差的真实系统上部署时，MRAC-RL框架是否相比标准RL算法展现出更优的参考轨迹跟踪性能？
• RQ3 该框架是否能在不重新训练的情况下，对大范围的参数扰动（如质量与长度的±25%，阻尼的±100%）保持性能？
• RQ4 内环自适应控制对现实世界部署中的代价函数和跟踪误差有何影响？
• RQ5 该框架是否可与现有鲁棒RL算法或仿真技术以模块化方式结合使用？

主要发现

• MRAC-RL框架在倒立摆任务中显著提升了参考轨迹跟踪性能，其平均跟踪误差低于直接应用策略基线。
• 在所有测试的参数扰动下，使用MRAC-RL框架时的平均代价 $ c( heta, heta, u) $ 显著低于基线RL算法。
• 该框架在质量与长度误差为±25%，阻尼误差为±100%的情况下仍保持鲁棒性能，展现出对大建模误差的强大泛化能力。
• MRAC内环实现了有效适应，无需领域随机化或重新训练，同时保持了原始策略的性能特征。
• 理论稳定性分析证实，在温和条件下，跟踪误差收敛至零，确保了长期系统性能。
• 即使在高参数不确定性下，该框架在跟踪精度和代价最小化方面也优于SOTA的RL算法（PPO、SAC、DDPG）。