[论文解读] Mixed Equilibrium Solution of Time-Inconsistent Stochastic LQ Problem

Yuan‐Hua Ni, Xun Li+2 more|arXiv (Cornell University)|Feb 8, 2018

Stochastic processes and financial applications参考文献 13被引用 6

一句话总结

本文针对时间不一致的离散时间均值场随机线性二次（LQ）控制问题，提出了混合均衡解，结合了纯反馈策略与开环控制。通过前向-后向随机差分方程，建立了存在性的必要与充分条件，证明了即使在开环或反馈解不存在的情况下，混合均衡解仍可能存在，通过构造包含10种不同情形的示例予以说明。

ABSTRACT

In this paper, we propose a novel equilibrium solution notion for the time-inconsistent stochastic linear-quadratic optimal control problem. This notion is called the mixed equilibrium solution, which consists of two parts: a pure-feedback-strategy part and an open-loop-control part. When the pure-feedback-strategy part is zero or the open-loop-control part does not depend on the initial state, the mixed equilibrium solution reduces to the open-loop equilibrium control and the feedback equilibrium strategy, respectively. Using a maximum-principle-like methodology with forward-backward stochastic difference equations, a necessary and sufficient condition is established to characterize the existence of a mixed equilibrium solution. Then, by decoupling the forward-backward stochastic difference equations, three sets of difference equations, which together portray the existence of a mixed equilibrium solution, are obtained. Moreover, the case with a fixed time-state initial pair and the case with all the initial pairs are separately investigated. Furthermore, an example is constructed to show that the mixed equilibrium solution exists for all the initial pairs, although neither the open-loop equilibrium control nor the feedback equilibrium strategy exists for some initial pairs.

研究动机与目标

• 通过引入一种新颖的均衡解概念，解决随机LQ控制中的时间不一致性问题。
• 在单一框架下统一开环均衡控制与反馈均衡策略。
• 刻画均值场随机LQ问题中混合均衡解存在的条件。
• 研究在标准解失效时解的存在性与非唯一性。
• 将均衡解的理论基础拓展至经典LQ控制之外。

提出的方法

• 提出一种由纯反馈策略部分与开环控制部分组成的混合均衡解。
• 采用基于前向-后向随机差分方程（FBSDEs）的类似最大值原理的方法。
• 通过将FBSDEs解耦为三组差分方程，推导出混合均衡解存在的必要与充分条件。
• 分析两种情形：固定初始时间-状态对与所有初始对，以建立更广泛的存在的条件。
• 利用包含条件期望及可逆算子（如 $\mathcal{O}_k^\dagger$）的矩阵方程，构造显式解。
• 通过10组不同参数集的数值示例验证存在性，每组均产生有效的混合均衡解。

实验结果

研究问题

• RQ1 能否通过统一的解概念调和时间不一致随机LQ控制中开环与反馈策略的矛盾？
• RQ2 当开环或反馈均衡解均不存在时，混合均衡解在何种条件下存在？
• RQ3 如何对前向-后向随机差分方程进行解耦，以刻画均衡解？
• RQ4 在不同初始条件下，混合均衡解的结构及其非唯一性特征为何？
• RQ5 混合均衡解概念能否推广至连续时间情形及非LQ问题？

主要发现

• 在所有10组测试的初始对中，混合均衡解均存在，尽管其中部分情形下开环均衡控制与反馈均衡策略均不存在。
• 在全部10组情形中，$\mathbb{O}_k > 0$ 且 $\mathcal{O}_k$ 可逆，满足定理3.13中关于存在的条件。
• 解通过 $\Phi_k$ 构造，且 $v^{0,x}_k = - (\mathcal{O}_k^\dagger \mathcal{L}_k + \Phi_k) X_k^{0,x,*}$，其中 $\mathcal{O}_k^\dagger \mathcal{L}_k$ 在每个时间步均显式计算。
• 状态演化遵循 $X^{0,x,*}_{k+1} = (A_k - B_k \mathcal{O}_k^\dagger \mathcal{L}_k) X_k^{0,x,*} - D_k \mathcal{O}_k^\dagger \mathcal{L}_k X_k^{0,x,*} w_k$，表明其具有路径依赖性。
• 混合均衡解同时推广了开环与反馈策略，当某一成分消失时，退化为对应的标准形式。
• 非唯一性特征得到验证，表明需引入选择准则（如最小化均衡值函数）以确定最优解。