[論文レビュー] Stability-certified reinforcement learning: A control-theoretic perspective

Ming Jin, Javad Lavaei|arXiv (Cornell University)|Oct 26, 2018

Reinforcement Learning in Robotics参考文献 46被引用数 23

ひとこと要約

本論文は、非線形力学的システムにおける強化学習（RL）方策の安定性を保証する制御理論的フレームワークを提案する。この手法は、半定値計画法（SDP）の可解性問題を通じて、ニューラルネットワーク方策の入出力勾配を制約することで実現される。本手法により、広範なクラスの制御系に対してロバストで有限の $L_2$ ゲイン安定性を保証でき、従来手法をはるかに超える安定化方策の集合を拡大する。さらに、分散型飛行編隊と電力系統周波数制御タスクにおいて、安定的かつ高性能なRL学習を実現した。

ABSTRACT

We investigate the important problem of certifying stability of reinforcement learning policies when interconnected with nonlinear dynamical systems. We show that by regulating the input-output gradients of policies, strong guarantees of robust stability can be obtained based on a proposed semidefinite programming feasibility problem. The method is able to certify a large set of stabilizing controllers by exploiting problem-specific structures; furthermore, we analyze and establish its (non)conservatism. Empirical evaluations on two decentralized control tasks, namely multi-flight formation and power system frequency regulation, demonstrate that the reinforcement learning agents can have high performance within the stability-certified parameter space, and also exhibit stable learning behaviors in the long run.

研究の動機と目的

• ミッションクリティカルな応用において、非線形かつ時変の力学的システムと相互接続されたRL方策の安定性を証明するという重要な課題に取り組む。
• 完全なシステムモデルの知識が不要な、体系的な方法を構築し、ニューラルネットワーク方策に対して強力で検証可能な安定性保証を提供する。
• スパarsityや片側勾配挙動といった問題固有の構造を活用することで、既存手法をはるかに超える安定化制御系の集合を拡張する。
• 方策勾配の境界を制御することで、長期的なRL学習を安定化させ、無限大に発散するゲインによる深刻な性能劣化を防ぐ。
• 分散型制御タスク、特にマルチエージェント飛行編隊と電力系統周波数制御を含む、実世界のタスクにおいて、本手法の有効性とスケーラビリティを示す。

提案手法

• 入出力勾配が有界であるRL方策の有限 $L_2$ ゲイン安定性を保証するため、半定値計画法（SDP）の可解性問題を定式化する。
• 部分微分が指定された下限および上限 $\underline{\xi}_{ij}, \overline{\xi}_{ij}$ の範囲内に制限される方策の安全領域 $\mathcal{P}(\underline{\xi}, \overline{\xi})$ を定義する。
• 安定性指標として $L_2$ ゲインを用い、入力が有界であれば出力も有界（BIBO）となる安定性と外部摂動に対するロバストネスを保証する。
• 非利用観測に対し $\underline{\xi}_{ij} = \overline{\xi}_{ij} = 0$ とすることで、分散制御における構造的スパarsityを組み込み、保守的になりすぎない。
• 学習中に観察される片側勾配挙動を活用して境界を精緻化（例：$\overline{\xi}_{ij} = -0.1l$, $\underline{\xi}_{ij} = l$）し、さらに安定性領域を拡大する。
• ポリシー勾配RLに勾配制御を統合し、ソフトペナルティまたはハードしきい値処理を用いることで、学習中に勾配が有界に保たれ、長期的な安定性が確保される。

実験結果

リサーチクエスチョン

• RQ1 非線形かつ時変の力学的システムに接続されたニューラルネットワーク方策に対して、勾配情報のみを用いて検証可能で予防的な安定性証明を提供できるか？
• RQ2 提案手法のSDPベース安定性証明は、従来の $L_2$ ノルムに基づく手法と比較してどの程度保守的か？
• RQ3 分散系における構造的スパarsityと片側勾配挙動をどの程度活用して、安定化制御系の証明可能領域を拡大できるか？
• RQ4 RL学習中に方策勾配の境界を制御することで、より安定した学習が達成され、長期的な展開において性能の崩壊が防げるか？
• RQ5 本手法は、マルチエージェント飛行編隊や電力系統周波数制御といった実世界の分散制御タスクにおいて、高性能で安定したRL方策の実現を可能にするか？

主な発見

• 提案されたSDPの可解性条件は、勾配有界集合 $\mathcal{P}(\underline{\xi}, \overline{\xi})$ 内のすべての方策に対して有限 $L_2$ ゲインを保証し、強力で検証可能な安定性保証を提供する。
• スパarsityを活用することで、電力系統制御タスクにおいてリプシッツ定数を0.6まで保証可能となり、標準的な $L_2$ ノルム制約の0.3の上限を2倍に拡大する。
• 片側勾配挙動を組み込むことで、さらにリプシッツ定数を1.1まで拡大し、安定化制御系の集合を顕著に拡大する。
• マルチエージェント飛行編隊タスクでは、安定性保証付きRL方策が高精度を維持しながら安定した学習を達成し、深刻な失敗を回避した。
• 電力系統周波数制御タスクでは、RLエージェントがコストを50.8（標準制御器）から23.9に削減し、証明された安定性領域内で優れた性能を示した。
• 勾配制御なしのRLでは、約500イテレーション後に勾配の無限大発散に起因する性能劣化が観察されたが、制御付きの学習では、学習全体にわたり安定的かつ高性能な挙動が維持された。