[論文レビュー] Q-learning for Optimal Control of Continuous-time Systems

Biao Luo, Derong Liu+1 more|arXiv (Cornell University)|Oct 11, 2014

Adaptive Dynamic Programming Control参考文献 42被引用数 7

ひとこと要約

本稿では、実システムデータを用いて一般非線形連続時間系の最適制御を実現する、モデルフリーなQ学習アルゴリズム2つ——ポリシー反復ベースのQL（PIQL）およびバリュー反復ベースのQL（VIQL）——を提案する。連続時間Q関数を導入し、パrameter更新に重み付き残差法（MWR）を適用することで、両アルゴリズムはオフラインで最適制御方策に収束し、シミュレーション結果により非線形および線形系において収束性と有効性が確認された。

ABSTRACT

In this paper, two Q-learning (QL) methods are proposed and their convergence theories are established for addressing the model-free optimal control problem of general nonlinear continuous-time systems. By introducing the Q-function for continuous-time systems, policy iteration based QL (PIQL) and value iteration based QL (VIQL) algorithms are proposed for learning the optimal control policy from real system data rather than using mathematical system model. It is proved that both PIQL and VIQL methods generate a nonincreasing Q-function sequence, which converges to the optimal Q-function. For implementation of the QL algorithms, the method of weighted residuals is applied to derived the parameters update rule. The developed PIQL and VIQL algorithms are essentially off-policy reinforcement learning approachs, where the system data can be collected arbitrary and thus the exploration ability is increased. With the data collected from the real system, the QL methods learn the optimal control policy offline, and then the convergent control policy will be employed to real system. The effectiveness of the developed QL algorithms are verified through computer simulation.

研究の動機と目的

• 正確なシステムモデルが入手できない一般非線形連続時間系におけるモデルフリー最適制御問題を解決すること。
• 新しいQ関数定式化を用いて、離散時間マルコフ意思決定過程から連続時間非線形系へのQ学習の拡張を図ること。
• システムの数学的モデルを必要とせず、任意のシステムデータから最適制御方策を学習できるオフポリシー強化学習アルゴリズムを開発すること。
• 連続時間最適制御の文脈において、PIQLおよびVIQL手法の収束理論を確立すること。
• 非線形系およびF-16戦闘機モデルを含む線形連続時間系におけるシミュレーションを通じて、提案手法の有効性を検証すること。

提案手法

• 最適制御に適した連続時間Q関数を導入し、Q学習を連続時間系に適用可能にする。
• 非増加なQ関数列を生成し、最適Q関数に収束するポリシー反復ベースのQL（PIQL）およびバリュー反復ベースのQL（VIQL）アルゴリズムを構築する。
• 重み付き残差法（MWR）を用いて、基底関数を用いたQ関数近似のためのパrameter更新則を導出する。
• 状態変数の多項式などの基底関数ベクトルを用いたパラメトリックなQ関数近似を採用し、制御方策を表現する。
• オフポリシー学習を採用することで、システムデータの収集を任意に可能とし、探索性を高め、オフラインでの方策学習を可能にする。
• 線形パラメータ化の下で閉形式の更新則を導出することで、線形二次調節器（LQR）問題に対する両アルゴリズムの簡略化を実現する。

実験結果

リサーチクエスチョン

• RQ1 既知のシステムモデルがなくても、Q学習を非線形連続時間系に効果的に拡張できるか？
• RQ2 実システムデータを用いて学習を行う場合、PIQLおよびVIQLアルゴリズムは最適制御方策に収束するか？
• RQ3 重み付き残差法を用いることで、連続時間系におけるQ関数近似のための安定かつ収束するパrameter更新則をどのように導出できるか？
• RQ4 非線形最適制御問題において、PIQLとVIQLの収束速度および精度の違いは何か？
• RQ5 提案されたQL手法は、非線形および線形連続時間系、さらには実世界の航空機モデルに対しても効果的に適用可能か？

主な発見

• 非線形系の例では、PIQLアルゴリズムが7反復で最適制御方策に収束し、理想の最適ゲイン $ K = [0~{}~{}0~{}~{}0~{}~} -1~{}~{}0] $ に非常に近い制御ゲイン $ K^{(7)} = [0.0067~{}~{}-0.0009~{}~{}-0.0112~{}~{}-0.9860~{}~{}-0.0076] $ を達成した。
• VIQLアルゴリズムは390反復で収束し、最適値に近い制御ゲイン $ K^{(390)} = [0.0055~{}~{}0.0016~{}~{}-0.0130~{}~{}-0.9813~{}~{}-0.0117] $ を得た。
• 両アルゴリズムとも非線形系において閉ループコスト0.0150を達成し、最小限のコストで効果的な性能を示した。
• PIQLおよびVIQLの両方において、状態および制御信号の閉ループ軌道はほぼ同一で安定しており、ロバストネスと収束性を確認した。
• LQR問題においては、簡略化されたPIQLおよびVIQLアルゴリズムが解析解に正確に収束した。理論的枠組みの妥当性が裏付けられた。
• シミュレーション結果から、PIQLおよびVIQLが、システムモデルを必要とせず、実システムデータから最適制御方策を学習できる有効なオフポリシー学習手法であることが確認された。