[論文レビュー] Generalized Policy Iteration for Optimal Control in Continuous Time.

Jingliang Duan, Shengbo Eben Li+3 more|arXiv (Cornell University)|Sep 11, 2019

Adaptive Dynamic Programming Control参考文献 47被引用数 16

ひとこと要約

本稿では、既知のダイナミクスを有する連続時間非線形システムにおける最適制御のための新規アルゴリズムである深層一般化方策反復（DGPI）を提案する。アクター・クリティックフレームワークに深層ニューラルネットワークを適用することで、許容可能な初期方策や入力アフィン構造を必要とせず、ハミルトニアン＝ジャコビ＝ベルマン方程式を反復的に解き、更新条件を緩和することで高速な学習が可能となる最適方策に収束する。

ABSTRACT

This paper proposes the Deep Generalized Policy Iteration (DGPI) algorithm to find the infinite horizon optimal control policy for general nonlinear continuous-time systems with known dynamics. Unlike existing adaptive dynamic programming algorithms for continuous time systems, DGPI does not require the admissibility of initialized policy, and input-affine nature of controlled systems for convergence. Our algorithm employs the actor-critic architecture to approximate both policy and value functions with the purpose of iteratively solving the Hamilton-Jacobi-Bellman equation. Both the policy and value functions are approximated by deep neural networks. Given any arbitrary initial policy, the proposed DGPI algorithm can eventually converge to an admissible, and subsequently an optimal policy for an arbitrary nonlinear system. We also relax the update termination conditions of both the policy evaluation and improvement processes, which leads to a faster convergence speed than conventional Policy Iteration (PI) methods, for the same architecture of function approximators. We further prove the convergence and optimality of the algorithm with thorough Lyapunov analysis, and demonstrate its generality and efficacy using two detailed numerical examples.

研究の動機と目的

• 既知のダイナミクスを有する非線形連続時間システムの一般最適制御フレームワークの構築を目的とする。
• 従来のアダプティブダイナミックプログラミング手法で要求される許容可能な初期方策や入力アフィン構造の制約を排除することを目的とする。
• 方策評価および改善フェーズにおける停止条件を緩和することで収束を加速することを目的とする。
• 厳密なリャプノフ解析を用いて反復的方策更新プロセスの収束性および最適性を理論的に保証することを目的とする。
• 2つの複雑な非線形システムにおける数値的検証を通じて、本手法の一般性と有効性を示すこと。

提案手法

• アクター・クリティック型の深層ニューラルネットワークアーキテクチャを用い、方策および価値関数を同時に近似する。
• 最適制御のためのハミルトニアン＝ジャコビ＝ベルマン方程式を反復的に解くために、繰り返し更新を用いる。
• 方策評価および改善ステップの停止基準を緩和することで収束を加速する。
• リャプノフに基づく解析を用いて、反復的方策更新プロセスの収束性および最適性を証明する。
• 連続時間における方策および価値関数の表現に深層ニューラルネットワークを活用する。
• 収束のためには、システムが入力アフィンでなくてもよく、初期方策が許容的でなくてもよい。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習アルゴリズムは、入力アフィン構造を必要としない一般非線形連続時間システムにおいて最適制御を達成できるか？
• RQ2 提案手法は、非許容的初期方策で始めても最適方策に収束するか？
• RQ3 方策反復における更新終了条件を緩和することで、最適性を損なわずに収束速度を著しく向上できるか？
• RQ4 一般非線形ダイナミクス下で、アルゴリズムの収束性および最適性は、理論的に保証されるか？
• RQ5 従来の方策反復手法と比較して、本手法は速度および精度の点で優れているか？

主な発見

• DGPIアルゴリズムは、既知のダイナミクスを有する任意の非線形連続時間システムに対して、最適制御方策に収束する。
• 初期方策が許容的でない場合でも収束が保証されるため、従来のアダプティブダイナミックプログラミング手法の主な制限を克服する。
• 更新条件を緩和することで、同じ関数近似アーキテクチャを使用しても、従来の方策反復よりも高速な収束が達成される。
• リャプノフ解析を用いて、収束性および最適性が厳密に証明されている。
• 2つの詳細な数値例を通じて、本手法の高い一般性と有効性が示された。
• 本手法は、入力アフィン制約を必要とせず、深層ニューラルネットワークを用いてハミルトニアン＝ジャコビ＝ベルマン方程式を反復的に解くことに成功した。