[論文レビュー] MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty

Anubhav Guha, Anuradha M. Annaswamy|arXiv (Cornell University)|Nov 20, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 5

ひとこと要約

本論文は、パrametricモデル不確実性下でのオンラインポリシー適応を可能にする、新たなフレームワークMRAC-RLを提案する。内側のループにモデル・リファレンス適応制御（MRAC）を、外側のループに強化学習（RL）を組み合わせることで、リアルタイムでモデル誤差を補正し、シミュレーションから実世界への展開において、参照追従性を著しく向上させるとともにコストを低減する。逆ピンドルムタスクにおいて、±100%のパrameter誤差が存在する状況でも、PPO、SAC、DDPGといった最先端のRLアルゴリズムを上回る性能を示した。

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully used to develop control policies for dynamical systems. For many such systems, these policies are trained in a simulated environment. Due to discrepancies between the simulated model and the true system dynamics, RL trained policies often fail to generalize and adapt appropriately when deployed in the real-world environment. Current research in bridging this sim-to-real gap has largely focused on improvements in simulation design and on the development of improved and specialized RL algorithms for robust control policy generation. In this paper we apply principles from adaptive control and system identification to develop the model-reference adaptive control & reinforcement learning (MRAC-RL) framework. We propose a set of novel MRAC algorithms applicable to a broad range of linear and nonlinear systems, and derive the associated control laws. The MRAC-RL framework utilizes an inner-loop adaptive controller that allows a simulation-trained outer-loop policy to adapt and operate effectively in a test environment, even when parametric model uncertainty exists. We demonstrate that the MRAC-RL approach improves upon state-of-the-art RL algorithms in developing control policies that can be applied to systems with modeling errors.

研究の動機と目的

• シミュレーションと実システムの間のモデル誤差に起因する、継続的なシミュレーションから実世界への一般化ギャップを解消すること。
• 再訓練やドメインランダマイゼーションを必要とせず、パrametric不確実性に応じたRLトレーニング済みポリシーのオンライン適応を可能にするフレームワークを開発すること。
• モデル・リファレンス適応制御（MRAC）の理論的安定性保証を活用し、不確実性下でも所望のシステム動作への収束を保証すること。
• 適応制御とRLの統合が、ベンチマーク制御タスクにおける追従誤差とコスト最小化の観点で性能向上をもたらすことを実証すること。
• 既存のロバストRLアルゴリズムやシミュレーション技術と組み合わせて、モジュラーに拡張可能なフレームワークを実現すること。

提案手法

• MRAC-RLフレームワークは、内側のループにMRAC原理に基づく適応制御器を採用し、リアルタイムでパrametricモデル不確実性を補正する。
• 外側のループ制御ポリシーは、シミュレーションで強化学習（例：PPO、SAC、DDPG）によりトレーニングされ、実世界への展開中は固定される。
• 適応制御器は、所望のシステム動作を定義するリファレンスマネルを使用し、パrameterの不一致が存在しても真のシステムがこの動作に一致するように駆動する。
• 重要な方程式には、(5)、(6)、(8)、(9)に示される制御則が含まれる。これらは、やや緩い条件下でも漸近的安定性および追従誤差のゼロへの収束を保証する。
• フレームワークは理論的に裏付けられており、定理3.1～3.4により、パrametric不確実性下で lim_{t→∞} ||e(t)|| = 0 が成り立つことを示している。
• この手法は、線形および非線形の逆ピンドルムタスクに適用され、追従誤差およびコスト指標を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 事前にトレーニングされたRLポリシーと適応制御層を効果的に統合することで、パrametricモデル不確実性下でもロバスト性が向上するか？
• RQ2 モデル誤差を伴う実システムに展開した際、MRAC-RLフレームワークは標準的なRLアルゴリズムに比べて優れた参照追従性能を達成するか？
• RQ3 再トレーニングを必要とせず、質量と長さで±25%、ダンピングで±100%のパrameter摂動の広い範囲においても性能を維持できるか？
• RQ4 内側のループにおける適応制御が、実世界展開におけるコスト関数および追従誤差に与える影響は何か？
• RQ5 このフレームワークは、既存のロバストRLアルゴリズムやシミュレーション技術とモジュラーに統合できるか？

主な発見

• MRAC-RLフレームワークは、逆ピンドルムタスクにおける参照追従性能を著しく向上させ、直接ポリシーを適用した場合に比べて平均追従誤差が低かった。
• すべてのテストされたパrameter摂動において、MRAC-RLフレームワークを用いることで、ベースラインのRLアルゴリズムに比べて平均コスト $ c( heta, heta, u) $ が顕著に低減された。
• 質量と長さで±25%の誤差、ダンピングで±100%の誤差が存在する状況でも、フレームワークは強力な一般化性能を示し、大きなモデル誤差に対してもロバストであった。
• MRAC内側ループにより、ドメインランダマイゼーションや再トレーニングを必要とせず、元のポリシーの性能特性を保ったまま適応が可能であった。
• 理論的安定性解析により、緩い条件下でも追従誤差がゼロに収束することが確認され、長期的なシステム性能が保証された。
• 高いパrametric不確実性が存在する状況でも、PPO、SAC、DDPGといった最先端のRLアルゴリズムを上回り、追従精度とコスト最小化の両面で優れた性能を示した。