[论文解读] Equilibrium controls in time inconsistent stochastic linear quadratic problems

Tianxiao Wang|arXiv (Cornell University)|Feb 4, 2018

Stochastic processes and financial applications参考文献 23被引用 4

一句话总结

本文提出了一种统一的变分方法，用于刻画在马氏动态下的时间不一致随机线性二次（SLQ）控制问题中三种概念——闭环均衡控制、开环均衡控制及其闭环表示——的特性。主要贡献在于通过Riccati型方程和必要最优性条件，严格刻画了均衡控制，揭示了这三种控制类型之间更深层次的结构差异，特别是表明在时间一致设定下，开环均衡控制退化为标准最优控制，而闭环均衡控制则与闭环最优控制一致。

ABSTRACT

This paper deals with a class of time inconsistent stochastic linear quadratic (SLQ) optimal control problems in Markovian framework. Three notions, i.e., closed-loop equilibrium controls/strategies, open-loop equilibrium controls and their closed-loop representations, are characterized in unified manners. These results indicate clearer and deeper distinctions among these notions. For example, in particular time consistent setting, the open-loop equilibrium controls are fully characterized by first-order, second-order necessary optimality conditions, and become needlessly optimal, while the closed-loop equilibrium controls naturally reduce into closed-loop optimal controls.

研究动机与目标

• 解决传统最优控制在时间推移中不再最优的时间不一致随机线性二次（SLQ）控制问题。
• 统一刻画三种不同均衡控制概念——闭环、开环及其闭环表示——的特征。
• 通过系统的变分框架，阐明这些均衡控制类型之间的内在差异。
• 利用Riccati方程以及一阶和二阶最优性条件，建立均衡控制的必要和充分条件。

提出的方法

• 在马氏框架下构建SLQ问题，其中状态和控制动态由SDEs描述，并采用包含条件期望的修正型代价函数。
• 引入变分方法，通过扰动控制并分析一阶和二阶变分，推导出均衡控制的必要和充分条件。
• 推导出描述均衡控制分量的耦合Riccati方程系统，通过反馈形式将状态和控制过程联系起来。
• 建立均衡条件与涉及哈密顿函数和二阶项的二次型非负性的等价关系。
• 利用闭环表示概念，将开环均衡控制与反馈策略联系起来，实现统一处理。
• 在博弈论框架下应用随机最大值原理和动态规划原理，推导均衡条件。

实验结果

研究问题

• RQ1 在时间不一致的SLQ问题中，如何系统地区分并刻画闭环与开环均衡控制？
• RQ2 在马氏设定下，开环均衡控制与其闭环表示之间的精确关系是什么？
• RQ3 在何种条件下，闭环均衡控制会退化为标准闭环最优控制？
• RQ4 一阶和二阶最优性条件如何决定均衡控制的结构？
• RQ5 当代价函数中包含条件期望时，Riccati方程在刻画均衡策略中起到什么作用？

主要发现

• 本文证明，开环均衡控制完全由一阶和二阶必要最优性条件刻画，在时间一致设定下，其退化为标准最优控制。
• 证明了当问题时间一致时，闭环均衡控制与闭环最优控制一致，确认了其在反馈策略下的一致性和最优性。
• 闭环策略的均衡条件等价于涉及哈密顿函数和二阶项的二次型非负性，确保了局部最优性。
• 推导出一个描述均衡反馈控制律的耦合Riccati方程系统，其解确定了反馈矩阵和仿射项。
• 显式构造了开环均衡控制的闭环表示，表明此类控制可表示为状态的反馈函数。
• 分析表明，只要相关的Riccati系统适定且解满足所需的正定性条件，均衡控制策略对初始状态扰动具有鲁棒性。