[論文レビュー] A Complete Solution to Optimal Control and Stabilization for Mean-field Systems: Part I, Discrete-time Case

Huanshui Zhang, Qingyuan Qi|arXiv (Cornell University)|Aug 23, 2016

Stability and Control of Uncertain Systems参考文献 11被引用数 4

ひとこと要約

本稿では、新規の最大原理と前向き・後向き確率的差分方程式（FBSDEs）を用いて、離散時間平均場線形二次（LQ）最適制御および安定化問題の完全な解析的解を提示する。明示的なリカッチ形式での十分かつ必要十分な可解性条件を導出し、結合された代数的リカッチ方程式（AREs）を用いて正確な安定化基準を確立し、従来の作用素型条件に見られる検証および完全性の欠落を解消する。

ABSTRACT

Different from most of the previous works, this paper provides a thorough solution to the fundamental problems of linear-quadratic (LQ) control and stabilization for discrete-time mean-field systems under basic assumptions. Firstly, the sufficient and necessary condition for the solvability of mean-field LQ control problem is firstly presented in analytic expression based on the maximum principle developed in this paper, which is compared with the results obtained in literatures where only operator type solvability conditions were given. The optimal controller is given in terms of a coupled Riccati equation which is derived from the solution to forward and backward stochastic difference equation (FBSDE). Secondly, the sufficient and necessary stabilization conditions are explored. It is shown that, under exactly observability assumption, the mean-field system is stabilizable in mean square sense if and only if a coupled algebraic Riccati equation (ARE) has a unique solution $P$ and $\bar{P}$ satisfying $P>0$ and $P+\bar{P}>0$. Furthermore, under the exactly detectability assumption, which is a weaker assumption than exactly observability, we show that the mean-field system is stabilizable in mean square sense if and only if the coupled ARE has a unique solution $P$ and $\bar{P}$ satisfying $P\geq 0$ and $P+\bar{P}\geq 0$. The key techniques adopted in this paper are the maximum principle and the solution to the FBSDE obtained in this paper. The derived results in this paper forms the basis to solve the mean-field control problem for continuous-time systems and other related problems.

研究の動機と目的

• 基本的な仮定の下で、離散時間平均場LQ最適制御問題に対する完全で解析的に明示的な解を提供すること。
• 検証が困難な作用素型可解性条件に依存していた先行研究の制限を克服すること。
• 平均二乗意味での平均場系の十分かつ必要十分な安定化条件を確立すること。
• 標準LQ制御結果を平均場系に拡張することで、平均場制御の理論的枠組みを統一すること。
• 連続時間平均場制御問題および関連トピックを解く基盤を築くこと。

提案手法

• 離散時間平均場LQ制御のための新規最大原理を導出し、最適性条件の直接的導出を可能にする。
• 前向きおよび後向き確率的差分方程式（FBSDEs）を解き、最適コントローラーを表現する。
• FBSDEの解から導かれる結合されたリカッチ方程式系を構築し、古典的LQ制御と構造的類似性を保証する。
• 最適コスト関数に基づくリャプノフ関数解析を用いて、無限時間ホライズンにおける収束を検討する。
• 安定化条件を導出するために、正確な可観測性と正確な検出可能性の2つの重要な仮定を導入する。
• 行列の分解および変換技術を用いて、安定性解析のための可観測および非可観測部分空間にシステムを分解する。

実験結果

リサーチクエスチョン

• RQ1 離散時間平均場LQ制御問題の可解性に関する十分かつ必要十分な条件は、明示的な解析的形でどのように表されるか？
• RQ2 FBSDEから導かれるリカッチ方程式を用いて、最適コントローラーを明示的にどのように構成できるか？
• RQ3 無限時間ホライズン問題において、平均場系が平均二乗意味で安定化可能となる条件は何か？
• RQ4 正確な可観測性仮定とより弱い正確な検出可能性仮定の下で、安定化条件はどのように異なるか？
• RQ5 結合されたAREの解と閉ループ系の安定性の間にはどのような関係があるか？

主な発見

• 平均場LQ制御問題の可解性は、新規最大原理を用いて導かれた明示的な解析的形での十分かつ必要十分な条件によって特徴づけられる。
• 最適コントローラーは、FBSDEの解から導かれる結合されたリカッチ方程式系によって表現される。
• 正確な可観測性仮定の下では、系は平均二乗意味で安定化可能であるための必要十分条件として、結合されたAREが一意な解 (P, P̄) を持ち、P > 0 かつ P + P̄ > 0 であることが成り立つ。
• より弱い正確な検出可能性仮定の下では、安定化可能性が成り立つための必要十分条件として、結合されたAREが一意な解をもち、P ≥ 0 かつ P + P̄ ≥ 0 であることが成り立つ。
• 結果は古典的LQ制御理論に類似しており、主な利点は重み行列 Rk および Rk + R̄k が正定値でなくてもよいことである。
• 結合されたリカッチ方程式の収束解析により、無限時間ホライズン問題における安定化コントローラーの存在が保証される。