[論文レビュー] Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|Feb 27, 2024

Simulation Techniques and Applications被引用数 4

ひとこと要約

本稿では、最小二乗時系列差分（LSTD）による価値関数推定とポリシー勾配最適化を組み合わせることで、時間連続確率的最適制御問題を解くためのアクタ・クリティック・フロー手法を提案する。連続勾配フローにおけるグローバルな線形収束性を確立し、ベンチマーク問題において数値的に検証された。

ABSTRACT

We propose an actor-critic framework to solve the time-continuous stochastic optimal control problem. A least square temporal difference method is applied to compute the value function for the critic. The policy gradient method is implemented as policy improvement for the actor. Our key contribution lies in establishing a linear rate of convergence for our proposed actor-critic flow. Theoretical findings are further validated through numerical examples, showing the efficacy of our approach in practical applications.

研究の動機と目的

• 決定的フィードバック制御とエントロピー正則化なしに、時間連続確率的最適制御問題を解く挑戦に取り組む。
• 強化学習と最適制御理論を橋渡しする、機械学習にインspiredされたフレームワークを構築する。
• 連続時間極限における提案手法の理論的収束保証を確保する。
• 伊藤の微分法則に基づいて導出された最小二乗時系列差分（LSTD）を用いたクライティック部を設計し、標準的なRLのTD手法と比較して誤差を低減する。
• やや弱い仮定のもとで、アクタ・クリティック・フローのグローバル線形収束を達成し、実用的導入の強い理論的基盤を提供する。

提案手法

• ハミルトニアン・ジョビ・ベルマン（HJB）方程式を基礎とする偏微分方程式（PDE）フレームワークを用いて、確率的最適制御問題を定式化する。
• 伊藤の補題に基づいて導出された最小二乗時系列差分（LSTD）推定を用いたクライティック部を実装し、単純なTD手法と比較して精度を向上させる。
• ポリシー改善のための明示的な勾配式を備えたポリシー勾配法により、アクタの更新を設計する。
• 連続極限におけるアルゴリズムの解析を行い、アクタ・クリティック・フローを連続時間動的システムとして導出する。
• リャプノフ型の議論を用いてグローバル収束を確立し、標準的な正則性および有界性仮定のもとで線形収束速度を証明する。
• コンパクト集合上のボックス統合を用いた背理法による収束証明を導出し、状態変数、制御変数、価値関数の微分係数の有界性を活用する。

実験結果

リサーチクエスチョン

• RQ1 決定的ポリシーを用いた時間連続確率的最適制御問題に、アクタ・クリティック枠組みを厳密に拡張可能か？
• RQ2 提案されたLSTDベースのクライティックは、この連続的設定において、標準的な時系列差分法と比較してより良い収束性と低い誤差を達成するか？
• RQ3 連続勾配極限におけるアクタ・クリティック・フローの収束速度は何か？ また、グローバル収束を保証できるか？
• RQ4 明示的な勾配式を備えたポリシー勾配法は、単純な勾配降下法と比較して収束挙動にどのような差異を示すか？
• RQ5 理論的収束結果は、非自明な確率的制御問題において数値的に検証可能か？

主な発見

• 提案されたアクタ・クリティック・フローは、連続勾配フローにおいてグローバルな線形収束性を達成しており、類似したRLベースの最適制御手法では一般的に確立されていない強力な理論的保証を有する。
• 伊藤の微分法則に基づいて導出されたLSTDベースのクライティックは、確率的制御文脈において、標準的な時系列差分手法と比較して推定誤差を低減する。
• 明示的な勾配式を備えたポリシー勾配法は、収束安定性と速度の両面で、単純な勾配降下法を上回る性能を示す。
• 収束証明は、ボックス統合と状態、制御、価値関数の微分係数の有界性を活用した背理法に依拠している。
• 数値例により理論的知見が検証され、アルゴリズムの実用的応用における有効性が示された。
• 収束速度は線形であり、Lipschitz連続性およびドリフト係数・拡散係数の有界性を含む標準的仮定のもとで証明が成立する。