[論文レビュー] Model-free optimal control of discrete-time systems with additive and multiplicative noises

Jing Lai, Junlin Xiong+1 more|arXiv (Cornell University)|Aug 20, 2020

Adaptive Dynamic Programming Control参考文献 28被引用数 6

ひとこと要約

本稿では、システム行列を必要とせず、バッチ最小二乗法と数値平均を用いてQ関数カーネルを推定することで、加法的および乗法的ノイズを有する離散時間システムの最適制御のためのモデルフリー強化学習アルゴリズムを提案する。この手法は最適制御方策に収束し、数値実験において他のポリシー反復アルゴリズムを上回り、未知の確率的システムに対して頑健で実用的であることを示している。

ABSTRACT

This paper investigates the optimal control problem for a class of discrete-time stochastic systems subject to additive and multiplicative noises. A stochastic Lyapunov equation and a stochastic algebra Riccati equation are established for the existence of the optimal admissible control policy. A model-free reinforcement learning algorithm is proposed to learn the optimal admissible control policy using the data of the system states and inputs without requiring any knowledge of the system matrices. It is proven that the learning algorithm converges to the optimal admissible control policy. The implementation of the model-free algorithm is based on batch least squares and numerical average. The proposed algorithm is illustrated through a numerical example, which shows our algorithm outperforms other policy iteration algorithms.

研究の動機と目的

• システム行列が完全に未知である場合に、加法的および乗法的ノイズを有する離散時間確率的システムの最適制御問題を解くこと。
• システムダイナミクスの事前知識が不要な状態と入力データのみを用いて最適制御方策を学習するモデルフリー強化学習アルゴリズムを開発すること。
• 一般の確率的システム条件下で、提案された学習アルゴリズムの収束保証を確立すること。
• 可測ノイズやシステム行列の部分的知識といった制限的仮定を排除することで、実用的応用性を向上させること。
• 数値例を通じて、既存のポリシー反復およびモデルフリーRLアルゴリズムと比較して優れた性能を示すこと。

提案手法

• 加法的ノイズが存在するが、収束性を保証するため、無限時限割引コスト関数を用いて最適制御問題を定式化する。
• 既知のシステム行列下での最適制御方策を特徴付けるために、確率的代数的リカチ方程式（SARE）と確率的ラプラシアン方程式（SLE）を導出する。
• 行列更新を繰り返し行うことでSAREを解くオフラインポリシー反復（PI）アルゴリズムを提案し、収束性を証明する。
• オンラインのモデルフリー強化学習アルゴリズムを開発し、バッチ最小二乗法（BLS）と数値平均を用いてQ関数カーネル行列を推定する。
• 可測ノイズ仮定の必要性を排除し、直接的にデータ駆動による推定を用いることで、頑健性と適用範囲を向上させる。
• 期待値の推定に実現平均を、カーネル行列推定にBLSを用いることで、ニューラルネットワークやモデル近似を回避する。

実験結果

リサーチクエスチョン

• RQ1 加法的および乗法的ノイズを有する離散時間確率的システムに対して、システム行列の知識がなくてもモデルフリー強化学習アルゴリズムを設計可能か？
• RQ2 一般のノイズ条件下で、観測された状態と入力の軌道のみを用いて最適制御方策を学習する方法は何か？
• RQ3 提案されたモデルフリー強化学習アルゴリズムが真の最適制御方策に収束するための条件は何か？
• RQ4 収束速度と精度の観点から、提案アルゴリズムは既存のポリシー反復およびモデルフリーRL手法と比較してどのように性能を発揮するか？
• RQ5 可測ノイズの仮定やモデルニューラルネットワークの必要性なしに、アルゴリズムを実装可能か？

主な発見

• 提案されたモデルフリーRLアルゴリズムは、既知のシステム行列下でオフラインPIアルゴリズムと等価であることが証明され、最適制御方策に収束することが示された。
• 制御ゲインの推定値は $\hat{L} = [-0.9369\ -1.5772]$ であり、真の最適値 $L^* = [-0.9319\ -1.5784]$ に非常に近い。
• 推定された最適コストは $\hat{V}(x_0) = 62.1118$ であり、真の最適コスト $V^*(x_0) = 62.0422$ と比較して、相対誤差は0.11%未満である。
• 数値比較において、本手法は[2]のPIおよび[29]のPIよりも収束が早く、相対コスト誤差が小さい。MFLQv3と同等の性能を示した。
• 制御ゲインの精度および収束速度の観点で、他のPIベースの手法を上回り、数値平均によるわずかな揺らぎを除いて優れた性能を発揮した。
• 可測ノイズやモデルニューラルネットワークを必要としないため、先行研究よりも実用的であり、実装が容易である。