[論文レビュー] Equilibrium controls in time inconsistent stochastic linear quadratic problems

Tianxiao Wang|arXiv (Cornell University)|Feb 4, 2018

Stochastic processes and financial applications参考文献 23被引用数 4

ひとこと要約

本稿は、マルコフ型動的構造下における時不一致確率的線形二次（SLQ）制御問題において、閉ループ均衡制御、オープンループ均衡制御、およびそれらの閉ループ表現という3つの概念を統一的変分的手法で特徴づける。主な貢献は、リッカチ型方程式および必要最適性条件を用いた均衡制御の厳密な特徴づけであり、これにより3つの制御タイプ間の構造的差異が明確にされ、特に時一貫性のある設定ではオープンループ均衡制御が標準的最適制御に簡約され、閉ループ均衡制御が閉ループ最適制御と一致することを示している。

ABSTRACT

This paper deals with a class of time inconsistent stochastic linear quadratic (SLQ) optimal control problems in Markovian framework. Three notions, i.e., closed-loop equilibrium controls/strategies, open-loop equilibrium controls and their closed-loop representations, are characterized in unified manners. These results indicate clearer and deeper distinctions among these notions. For example, in particular time consistent setting, the open-loop equilibrium controls are fully characterized by first-order, second-order necessary optimality conditions, and become needlessly optimal, while the closed-loop equilibrium controls naturally reduce into closed-loop optimal controls.

研究の動機と目的

• 従来の最適制御が時間経過とともに最適でなくなる、時間不一致性を有する確率的線形二次（SLQ）制御問題に対する時間不一致性の問題に対処すること。
• 閉ループ、オープンループ、およびそれらの閉ループ表現という3つの異なる均衡制御概念の特徴づけを統一すること。
• 体系的な変分枠組みを通じて、これらの均衡制御タイプ間の本質的差異を明確にすること。
• リッカチ方程式および一次および二次の最適性条件を用いて、均衡制御の必要および十分条件を確立すること。

提案手法

• 状態および制御のダイナミクスがSDEに従い、コスト関数に条件付き期待値を組み込んだ修正型コスト関数を持つマルコフ型フレームワークでSLQ問題を定式化すること。
• 制御を摂動し、一次および二次の変動を分析することにより、均衡制御の必要および十分条件を導出する変分的手法を導入すること。
• 状態および制御過程をフィードバック形式で結びつける、連立リッカチ方程式系を導出すること。
• 均衡条件がハミルトニアンおよび二次項を含む二次形式の非負性と等価であることを確立すること。
• 閉ループ表現の概念を用いて、オープンループ均衡制御とフィードバック戦略を結びつけ、統一的取り扱いを可能にすること。
• ゲーム理論的枠組みにおいて、確率的最強度原理および動的計画法原理を用いて均衡条件を導出すること。

実験結果

リサーチクエスチョン

• RQ1 時不一致SLQ問題において、閉ループおよびオープンループ均衡制御は、どのように体系的に区別され、特徴づけられるか？
• RQ2 マルコフ設定下で、オープンループ均衡制御とその閉ループ表現との間の正確な関係は何か？
• RQ3 閉ループ均衡制御が標準的閉ループ最適制御に簡約される条件は何か？
• RQ4 一次および二次の最適性条件は、均衡制御の構造をどのように規定するか？
• RQ5 コスト関数に条件付き期待値が含まれる状況下で、リッカチ方程式は均衡戦略を特徴づける際に果たす役割は何か？

主な発見

• 本稿は、オープンループ均衡制御が一次および二次の必要最適性条件によって完全に特徴づけられ、時一貫性のある設定では標準的最適制御に簡約されることを確立した。
• 閉ループ均衡制御が時一貫性のある設定では閉ループ最適制御と一致することを示し、フィードバック戦略下での一貫性および最適性を確認した。
• 閉ループ戦略の均衡条件は、ハミルトニアンおよび二次項を含む二次形式の非負性と等価であり、局所最適性を保証する。
• 均衡フィードバック制御則を特徴づける連立リッカチ方程式系が導出され、その解がフィードバック行列およびアフィン項を決定する。
• オープンループ均衡制御の閉ループ表現が明示的に構成され、このような制御が状態のフィードバック関数として表現可能であることが明らかになった。
• 解析により、関連するリッカチ系が適切に定義されており、解が所定の正定性条件を満たす限り、均衡制御戦略が初期状態の摂動に対してロバストであることが確認された。