[論文レビュー] On Time-Consistent Solution to Time-Inconsistent Linear-Quadratic Optimal Control of Discrete-Time Stochastic Systems

Xun Li, Yuan‐Hua Ni+1 more|arXiv (Cornell University)|Mar 6, 2017

Analysis of environmental and stochastic processes参考文献 17被引用数 6

ひとこと要約

本稿は、時間に一貫性のない目的関数を有する離散時間確率的線形二次最適制御問題に対する時間に一貫した解を提案する。最大原理型の必要十分条件を用いて、オープンループ均衡制御と線形フィードバック均衡戦略を導入し、一般化差分リカチ方程式（GDREs）および線形差分方程式（LDEs）の可解性と同等であることを確立する。

ABSTRACT

In this paper, we investigate a class of time-inconsistent discrete-time stochastic linear-quadratic optimal control problems, whose time-consistent solutions consist of an open-loop equilibrium control and a linear feedback equilibrium strategy. The open-loop equilibrium control is defined for a given initial pair, while the linear feedback equilibrium strategy is defined for all the initial pairs. Maximum-principle-type necessary and sufficient conditions containing stationary and convexity are derived for the existence of these two time-consistent solutions, respectively. Furthermore, for the case where the system matrices are independent of the initial time, we show that the existence of the open-loop equilibrium control for a given initial pair is equivalent to the solvability of a set of nonsymmetric generalized difference Riccati equations and a set of linear difference equations. Moreover, the existence of linear feedback equilibrium strategy is equivalent to the solvability of another set of symmetric generalized difference Riccati equations.

研究の動機と目的

• 標準的な動的計画法が失敗する、時間に一貫性のない離散時間確率的線形二次（LQ）最適制御問題における時間的一致性の問題に対処する。
• オープンループ均衡制御および線形フィードバック均衡戦略の両方の文脈で、時間に一貫したフレームワークを構築する。
• 最大原理型基準を用いて、これらの均衡解の存在に関する必要十分条件を確立する。
• システム行列が時不変である場合、一般化差分リカチ方程式（GDREs）および線形差分方程式（LDEs）を用いて解を特徴付ける。
• 実用的な確率的制御システムへの実装を可能にする、均衡戦略を計算する体系的な手法を提供する。

提案手法

• 与えられた初期対に対してオープンループ均衡制御を定義し、すべての初期対に対して有効な線形フィードバック均衡戦略を定義する。
• 均衡解の存在に関する、停留在性および凸性を含む最大原理型の必要十分条件を導出する。
• システム行列が時不変である場合、オープンループ均衡制御が存在するための必要十分条件が、非対称GDREsおよびLDEsの可解性に等しいことを証明する。
• 線形フィードバック均衡戦略が存在するための必要十分条件が、対称GDREsの可解性に等しいことを示す。
• 最適性系における状態および共役過程を、前向き・後ろ向き確率的差分方程式（FBSDEs）でモデル化する。
• 後退的再帰を用いてGDREsおよびLDEsを解き、フィードバックゲインおよび均衡制御の計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 与えられた初期対に対して、離散時間確率的LQ問題における時間に一貫したオープンループ均衡制御が存在する条件は何か？
• RQ2 すべての初期対に対して有効な線形フィードバック均衡戦略が存在する条件は何か？
• RQ3 一般化差分リカチ方程式（GDREs）および線形差分方程式（LDEs）を用いて、均衡解の存在をどのように特徴付けることができるか？
• RQ4 時間に一貫性のないLQ問題と、対称的および非対称的GDREsの可解性との関係は何か？
• RQ5 提案されたフレームワークは、時変またはマルコフ変調パrameterを有するシステムへと拡張可能か？

主な発見

• 与えられた初期対に対するオープンループ均衡制御の存在は、非対称一般化差分リカチ方程式（GDREs）の集合および線形差分方程式（LDEs）の集合の可解性と同等である。
• 線形フィードバック均衡戦略の存在は、対称一般化差分リカチ方程式（GDREs）の集合の可解性と同等である。
• 数値的例題により、導出されたGDREsおよびLDEsの可解性が確認され、正定値行列（例：$\widetilde{W}_{1,1} > 0$, $\widetilde{W}_{0,0} > 0$）が条件の妥当性を裏付けている。
• 例5.2および5.3では、明示的なフィードバックゲイン行列$\Phi_0, \Phi_1, \Phi_2$および$\Phi_0, \Phi_1$が計算され、均衡戦略の実用的計算が示されている。
• 本フレームワークは、不定値でさえある制御重み行列（例：$R_{0,0}$不定、$R_{0,1}$負定値）を扱えるため、標準LQ理論を越えた拡張を実現している。
• 古典的動的計画法を一般化し、ベルマンの原理に従わない場合でも時間に一貫した解を提供する。