[论文解读] Dynamic Approaches for Some Time Inconsistent Problems

Chandrasekhar Karnam, Jin Ma+1 more|arXiv (Cornell University)|Apr 13, 2016

Economic theories and models参考文献 27被引用 11

一句话总结

本文提出了一种新颖的动态效用框架，以在传统动态规划因时间不一致性而失效的随机控制问题中恢复时间一致性。通过重新定义效用函数以与前向动力学保持一致，作者们恢复了动态规划原理（DPP），并提出了三种统一的方法——对偶法、动态效用法和主方程法，其结果与原始静态问题的值相同，从而解决了连续时间时间不一致优化中长期存在的矛盾。

ABSTRACT

In this paper we investigate possible approaches to study general time-inconsistent optimization problems without assuming the existence of optimal strategy. This leads immediately to the need to refine the concept of time-consistency as well as any method that is based on Pontryagin's Maximum Principle. The fundamental obstacle is the dilemma of having to invoke the {\it Dynamic Programming Principle} (DPP) in a time-inconsistent setting, which is contradictory in nature. The main contribution of this work is the introduction of the idea of the "dynamic utility" under which the original time inconsistent problem (under the fixed utility) becomes a time consistent one. As a benchmark model, we shall consider a stochastic controlled problem with multidimensional backward SDE dynamics, which covers many existing time-inconsistent problems in the literature as special cases, and we argue that the time inconsistency is essentially equivalent to the lack of {\it comparison principle}. We shall propose three approaches aiming at reviving the DPP in this setting: the duality approach, the dynamic utility approach, and the master equation approach. Unlike the game approach in many existing works in continuous time models, all our approaches produce the same value as the original static problem.

研究动机与目标

• 解决连续时间随机控制中时间不一致性与动态规划原理（DPP）之间的根本矛盾。
• 消除在时间不一致问题中假设最优控制策略存在的需要。
• 开发新的数学工具，以在不改变原始问题值 $V_0$ 的前提下恢复时间一致性。
• 建立一个框架，使原始静态问题的值在动态分析下得以保持。
• 引入并证明在主方程中使用左时序路径导数的合理性，以支持前向DPP。

提出的方法

• 提出‘动态效用’的概念，使原始时间不一致问题转化为时间一致问题，从而可应用DPP。
• 提出三种不同但一致的方法：对偶法、动态效用法和主方程法，均保持原始值 $V_0$ 不变。
• 通过左时序路径导数推导前向DPP，该导数对前向时间动力学至关重要，可避免问题病态化。
• 建立一个包含值函数 $\Psi$ 的左导数的主方程，确保与前向动力学的一致性。
• 证明使用标准右导数会导致方程病态，因其忽略了生成器 $f$ 中对控制变量 $z$ 的依赖。
• 采用带多维状态过程的倒向SDE动力学，以建模一般的时间不一致问题，涵盖现有模型作为特例。

实验结果

研究问题

• RQ1 在不假设最优策略存在的前提下，能否在时间不一致的随机控制问题中恢复动态规划原理？
• RQ2 当DPP为前向时间时，主方程中应使用何种正确的时间导数？
• RQ3 如何在不改变原始值 $V_0$ 的前提下，将时间不一致问题转化为时间一致问题？
• RQ4 为何在此类问题中，标准右导数会导致主方程病态？
• RQ5 比较原理在一般时间不一致问题中是否等价于时间一致性？

主要发现

• 引入动态效用可将时间不一致问题转化为时间一致问题，从而允许应用DPP。
• 左时序路径导数对主方程至关重要，因为使用标准右导数会导致忽略生成器 $f$ 中 $z$ 依赖性的病态方程。
• 所提出的三种方法——对偶法、动态效用法和主方程法——均给出与原始静态问题相同的值，从而保持 $V_0$ 不变。
• 使用左导数推导的主方程在前向DPP下是适定的，而使用右导数得到的方程则病态。
• 时间不一致性本质上等价于底层随机控制问题中比较原理的缺失。
• 值函数 $\Psi(t,\eta)$ 满足前向DPP，且其左导数是推导主方程的正确对象。