[論文レビュー] $H_\infty$ Model-free Reinforcement Learning with Robust Stability Guarantee

Minghao Han, Yuan Tian+3 more|arXiv (Cornell University)|Nov 7, 2019

Reinforcement Learning in Robotics参考文献 12被引用数 8

ひとこと要約

本稿では、最大エントロピー目的関数を用いて、リャプノフ関数とポリシーを同時に学習することで、モデルフリー強化学習フレームワークであるロバスト・リャプノフに基づくアクタ・クリティック（RLAC）を提案する。この手法は、ロバスト安定性と$H_\infty$性能を保証し、大規模なインパulse的摂動およびパrametric不確実性下でも安定性を確保する。シミュレーションにおいて、最先端のRLおよび古典的制御ベースラインを上回り、最大制御入力の6倍に達する摂動からの回復性能が顕著に優れている。

ABSTRACT

Reinforcement learning is showing great potentials in robotics applications, including autonomous driving, robot manipulation and locomotion. However, with complex uncertainties in the real-world environment, it is difficult to guarantee the successful generalization and sim-to-real transfer of learned policies theoretically. In this paper, we introduce and extend the idea of robust stability and $H_\infty$ control to design policies with both stability and robustness guarantee. Specifically, a sample-based approach for analyzing the Lyapunov stability and performance robustness of a learning-based control system is proposed. Based on the theoretical results, a maximum entropy algorithm is developed for searching Lyapunov function and designing a policy with provable robust stability guarantee. Without any specific domain knowledge, our method can find a policy that is robust to various uncertainties and generalizes well to different test environments. In our experiments, we show that our method achieves better robustness to both large impulsive disturbances and parametric variations in the environment than the state-of-art results in both robust and generic RL, as well as classic control. Anonymous code is available to reproduce the experimental results at https://github.com/RobustStabilityGuaranteeRL/RobustStabilityGuaranteeRL.

研究の動機と目的

• 実世界のロボット工学アプリケーションにおけるモデルフリー強化学習の理論的ロバストネスおよび安定性の欠如を解決すること。
• システムモデルを必要とせず、閉ループ系からの経験的データを用いて、リャプノフ安定性および$H_\infty$性能を分析するサンプルベースの手法を開発すること。
• 環境内の大きなインパulse的摂動およびパrametric不確実性に対して、証明可能なロバストネスを有するポリシーを設計すること。
• ドメイン特化の知識なしに、未知のテスト環境への一般化を可能にすること。
• ロバスト制御理論とディープ強化学習を、安定性および性能保証のための最大エントロピーフレームワークを通じて統合すること。

提案手法

• 閉ループ系からの経験的データを用いて、リャプノフ安定性および$H_\infty$性能の新しいサンプルベースの分析を提案する。
• リャプノフ関数と確率的ポリシーを最大エントロピー目的関数を用いて同時に最適化するRLACアルゴリズムを開発する。
• ポリシー最適化にソフトアクタ・クリティック（SAC）フレームワークを用い、リャプノフ関数のための別個のニューラルネットワークを導入する。
• リャプノフ関数が正定値であり、ポリシーのダイナミクス下で期待される減少を保証する制約を課す。
• $H_\infty$制御を介してロバスト性能基準を導入し、最悪の摂動下でもコスト増加が有界であることを保証する。
• 無限時間ホライズンのコストおよび摂動エネルギーの時間ホライズンに基づく近似を用い、実用的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 システムモデルが未知である場合に、モデルフリー強化学習手法がリャプノフ安定性および$H_\infty$ロバストネスを保証できるか？
• RQ2 最大エントロピーを用いたリャプノフ関数とポリシーの共同学習が、大きなインパulse的摂動に対するロバストネスを向上させられるか？
• RQ3 本手法は、環境内のパrametric不確実性下で、最先端のRLおよび古典的制御手法よりも優れた一般化性能を示せるか？
• RQ4 学習されたリャプノフ関数の導入が、標準的なRLアルゴリズムと比較して安定性および性能をどのように向上させるか？
• RQ5 本手法は、サンプル効率を維持しつつ、SOTAのRLと同等の性能を達成しながら、証明可能なロバストネスを実現できるか？

主な発見

• RLACエージェントは、最大制御入力の4～6倍に達するインパulse的摂動からも正常に回復できたが、すべてのベースラインはほぼ確実に失敗した。
• 大規模なインパulse的摂動下でのRLACの死亡率は、すべてのベースラインと比較して顕著に低く、優れた耐性を示した。
• パrametric不確実性評価において、RLACはすべてのベースラインと比較して、質量や構造的値の異なる条件下でも優れた一般化性能を示した。
• RLACが学習したポリシーは、未確認のパrameter変動が加えられた多様なテスト環境でも、低コストかつ高い安定性を維持した。
• リャプノフ関数とポリシーの共同最適化により、事前のドメイン知識やモデル仮定なしに、安定でロバストなポリシーが得られた。
• すべてのアルゴリズムが訓練で類似した最終性能に収束したが、RLACのみが極端な摂動および不確実性に対するロバストネスを達成した。