[論文レビュー] Hamilton-Jacobi-Bellman Equations for Maximum Entropy Optimal Control

Jeongho Kim, Insoon Yang|arXiv (Cornell University)|Sep 28, 2020

Adaptive Dynamic Programming Control参考文献 59被引用数 5

ひとこと要約

本稿は、エントロピー正則化を施した連続時間確定的最適制御問題に新たなクラスのハミルトニアン・ヤコビ・ベルマン（HJB）方程式を導入し、最適値関数が一意な粘性解であることを証明する。一般化されたホフ＝ラクスの公式を用いて計算上の実行可能性を確立し、制御アフィン系では最適制御がガウス分布に帰着することを示し、線形二次系ではリッカティ方程式に帰着する。これにより、初めて情報理論的探索を伴うデータ駆動型連続時間制御が可能になる。

ABSTRACT

Maximum entropy reinforcement learning (RL) methods have been successfully applied to a range of challenging sequential decision-making and control tasks. However, most of existing techniques are designed for discrete-time systems. As a first step toward their extension to continuous-time systems, this paper considers continuous-time deterministic optimal control problems with entropy regularization. Applying the dynamic programming principle, we derive a novel class of Hamilton-Jacobi-Bellman (HJB) equations and prove that the optimal value function of the maximum entropy control problem corresponds to the unique viscosity solution of the HJB equation. Our maximum entropy formulation is shown to enhance the regularity of the viscosity solution and to be asymptotically consistent as the effect of entropy regularization diminishes. A salient feature of the HJB equations is computational tractability. Generalized Hopf-Lax formulas can be used to solve the HJB equations in a tractable grid-free manner without the need for numerically optimizing the Hamiltonian. We further show that the optimal control is uniquely characterized as Gaussian in the case of control affine systems and that, for linear-quadratic problems, the HJB equation is reduced to a Riccati equation, which can be used to obtain an explicit expression of the optimal control. Lastly, we discuss how to extend our results to continuous-time model-free RL by taking an adaptive dynamic programming approach. To our knowledge, the resulting algorithms are the first data-driven control methods that use an information theoretic exploration mechanism in continuous time.

研究の動機と目的

• 最大エントロピー強化学習を離散時間から連続時間確定的最適制御問題へ拡張すること。
• 連続時間系にエントロピー正則化を組み込んだ新たなクラスのハミルトニアン・ヤコビ・ベルマン（HJB）方程式を導出すること。
• 導出されたHJB方程式の最適値関数が一意な粘性解であることを証明すること。
• エントロピー正則化が弱まる極限において漸近的整合性が保たれ、標準的最適制御に回復されることを保証すること。
• 一般化されたホフ＝ラクスの公式と線形二次系・制御アフィン系に対する明示的解を用いて、計算上の実行可能性を確保すること。

提案手法

• 動的計画法の原則を適用し、エントロピー正則化を施した連続時間確定的システムのHJB方程式を導出する。
• 緩められた制御定式化を用いて、確定的システムにおける確率的制御入力をモデル化する。
• 標準ハミルトニアンを一般化したソフトマックス型のハミルトニアンを導出する。これはソフトQ学習の構造に類似している。
• 一般化されたホフ＝ラクスの公式を用いて、グリッドフリーで数値的に効率的な方法でHJB方程式を解く。
• 制御アフィン系において、最適制御が標準的最適制御と等しい平均を持つガウス分布として一意に特徴付けられることを証明する。
• 線形二次問題において、HJB方程式が代数的リッカティ方程式に帰着することを示し、明示的な最適制御表現が可能になる。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー原理を連続時間確定的最適制御問題に意味的に拡張できるか？
• RQ2 動的計画法の原則を連続時間でエントロピー正則化付きHJB方程式を導出するためにどのように適合できるか？
• RQ3 連続時間系におけるエントロピー正則化下での最適制御の構造はいかなるものか？
• RQ4 最大エントロピー定式化下で、値関数の正則性はどのように向上するか？
• RQ5 得られたHJB方程式は、計算上で実行可能で、グリッドフリーな方法で解けるか？

主な発見

• 最大エントロピー制御問題の最適値関数は、導出されたHJB方程式の一意な粘性解である。
• 粘性解は正則性が向上しており、下微分および上微分に高々1つの要素しか含まない。
• 温度パrameter α → 0 の極限において、値関数は標準的最適制御問題の値関数に一様収束する。これは漸近的整合性を確認する。
• 制御アフィン系では、最適制御が一意にガウス分布として特徴付けられ、その平均は標準的最適制御と等しい。
• 線形二次問題では、HJB方程式が代数的リッカティ方程式に帰着し、明示的な解析的解が得られる。
• 一般化されたホフ＝ラクスの公式により、ハミルトニアン最適化を伴わず、グリッドフリーな数値的解法が可能となり、計算上の実行可能性が向上する。