[論文レビュー] Actor-Critic Reinforcement Learning for Control with Stability Guarantee

Minghao Han, Lixian Zhang+2 more|arXiv (Cornell University)|Apr 29, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 9

ひとこと要約

本稿では、評価関数部にラプラウスの安定性理論を統合することで、ロボット制御タスクにおける閉ループ安定性を保証する、新しいアクタ・クリティック強化学習フレームワークを提案する。データに基づく安定性条件を単一の期待不等式に簡略化することで、安定な方策のサンプル効率の良い学習が可能となり、複数の制御ベンチマークにおいて、外部摂動やパrameter変動に対する耐性が、最先端手法を上回ることを示した。

ABSTRACT

Reinforcement Learning (RL) and its integration with deep learning have achieved impressive performance in various robotic control tasks, ranging from motion planning and navigation to end-to-end visual manipulation. However, stability is not guaranteed in model-free RL by solely using data. From a control-theoretic perspective, stability is the most important property for any control system, since it is closely related to safety, robustness, and reliability of robotic systems. In this paper, we propose an actor-critic RL framework for control which can guarantee closed-loop stability by employing the classic Lyapunov's method in control theory. First of all, a data-based stability theorem is proposed for stochastic nonlinear systems modeled by Markov decision process. Then we show that the stability condition could be exploited as the critic in the actor-critic RL to learn a controller/policy. At last, the effectiveness of our approach is evaluated on several well-known 3-dimensional robot control tasks and a synthetic biology gene network tracking task in three different popular physics simulation platforms. As an empirical evaluation on the advantage of stability, we show that the learned policies can enable the systems to recover to the equilibrium or way-points when interfered by uncertainties such as system parametric variations and external disturbances to a certain extent.

研究の動機と目的

• モデルフリーな深層強化学習がロボット制御システムにおいて安定性保証を欠いているという問題に取り組む。
• 制御理論と深層強化学習を統合し、データ駆動型学習フレームワークにラプラウス法を統合する。
• 学習可能なラプラウス評価関数を備えた、漸近的安定性を保証するサンプル効率の良いアクタ・クリティックアルゴリズムを開発する。
• モデル不確実性や外部摂動下での学習方策のロバストネスを実験的に検証する。
• 非線形および確率的制御タスクにおいて、未観測のリファレンス信号に一般化可能な安定な方策を示す。

提案手法

• 確率的非線形システム（マコフ決定過程として定式化）に対して、無限大のラプラウス差分条件を、状態空間上の単一の期待不等式に簡略化したデータベース型安定性定理を提案する。
• ラプラウス関数と方策を深層ニューラルネットワークでパラメータ化し、評価関数が安定性を強制するエンドツーエンド学習を可能にする。
• 安定性条件のサンプル近似を導出し、ラプラウス関数の期待変化が負になるように保証する評価関数損失関数を構築する。
• 安定性を意識した評価関数をアクタ・クリティックRLフレームワークに統合し、アクターは制御コストを最小化するように更新されつつ、ラプラウス条件を満たすようにする。
• 有限または無限時間ホライズンで定義可能なラプラウス候補関数を採用し、無限時間ホライズンの場合は価値関数と同等となる。
• オフポリシーのリプレイと勾配ベース最適化を用いて、アクターとラプラウス評価関数を同時に学習させ、学習および推論中も安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな強化学習設定下で、確率的非線形システムに対してデータベース型安定性条件を導出可能か？
• RQ2 ラプラウス安定性条件をアクタ・クリティック強化学習フレームワークの評価関数として効果的に用いることで、閉ループ安定性を確保できるか？
• RQ3 提案手法は、標準的なRLアルゴリズムと比較して、外部摂動やパrameter不確実性に対してよりロバストな方策を生成するか？
• RQ4 非線形制御および合成生物学タスクにおいて、未観測のリファレンス信号に一般化可能な学習方策が得られるか？
• RQ5 ラプラウス候補関数の選択（例：有限時間 vs. 無限時間）が、学習済みコントローラーのロバストネスと性能にどのように影響するか？

主な発見

• 提案されたLAC（ラプラウス正則化アクタ・クリティック）手法は、CartPoleおよびGRNタスクにおいて、SACおよびLQRと比較して死亡率と累積コストが低く、優れた安定性と性能を示した。
• HalfCheetahでは、LACはSACが強い摂動で失敗する状況でも、より大きな外部摂動に対してロバストであることを示した。
• FetchReachでは、LACとSACの両方が全摂動レベルで信頼性を示したが、LACはより一貫性があり、分散が小さかった。
• GRNタスクにおいて、LAC方策は未観測のリファレンス信号（周期150・400の正弦波、定数8・16）に対しても、低分散かつ高精度で追従できた。
• SACは特定のリファレンス信号（例：周期150の正弦波）を追従できず、LACと比較して分散が大きかったが、同様の信号で学習した場合でも同様の傾向を示した。
• ラプラウス候補関数の選択がロバストネスに顕著な影響を与える：短い時間ホライズン（N=5–10）で学習したコントローラーは、長いホライズン（N=15–20）よりもインパulse的摂動に対してよりロバストであった。LQRは、急激な力に対してSACよりもよりロバストであった。