[论文解读] Equilibrium concepts for time-inconsistent stopping problems in continuous time

Erhan Bayraktar, Jingjie Zhang+1 more|arXiv (Cornell University)|Sep 3, 2019

Auction Theory and Applications参考文献 17被引用 5

一句话总结

本文引入了连续时间下时间不一致停止问题中强均衡的新概念，通过更精确地捕捉偏离行为，对子博弈完美纳什均衡进行了改进。在对数次可加贴现函数和连续时间马尔可夫链的条件下，证明了最优温和均衡必为强均衡，并提出了一种新颖的迭代方法以构造此类均衡，确保其存在性并解决了非指数贴现模型中的均衡选择问题。

ABSTRACT

A \emph{new} notion of equilibrium, which we call \emph{strong equilibrium}, is introduced for time-inconsistent stopping problems in continuous time. Compared to the existing notions introduced in ArXiv: 1502.03998 and ArXiv: 1709.05181, which in this paper are called \emph{mild equilibrium} and \emph{weak equilibrium} respectively, a strong equilibrium captures the idea of subgame perfect Nash equilibrium more accurately. When the state process is a continuous-time Markov chain and the discount function is log sub-additive, we show that an optimal mild equilibrium is always a strong equilibrium. Moreover, we provide a new iteration method that can directly construct an optimal mild equilibrium and thus also prove its existence.

研究动机与目标

• 为解决现有均衡概念（温和与弱）在捕捉连续时间时间不一致停止问题中子博弈完美纳什均衡方面的局限性。
• 引入并形式化强均衡的概念，通过检测从停止到继续的偏离行为，更准确地反映时间上的战略一致性。
• 证明在对数次可加贴现和连续时间马尔可夫过程中，最优温和均衡始终为强均衡。
• 开发一种新迭代方法，可直接构造最优温和均衡，从而证明其在连续时间设定下的存在性。
• 通过两状态马尔可夫链的实例，阐明均衡类型之间的严格层级关系：最优温和 ⊊ 强 ⊊ 弱 ⊊ 温和。

提出的方法

• 引入一种新均衡概念——强均衡，其定义要求：在任何时刻，自我均无偏离均衡策略的动机，即使考虑立即返回停止区域。
• 通过两个条件定义强均衡：(1) 对于停止区域外的状态，继续行动的期望值必须高于立即停止；(2) 对于停止区域内的状态，停止的收益必须高于立即继续，即使返回时间为零。
• 将该概念应用于具有非指数贴现的连续时间马尔可夫链，特别关注对数次可加贴现函数。
• 提出一种新颖的迭代方法，从初始停止集出发，通过价值函数和停止时间期望值，迭代改进以逼近最优温和均衡。
• 采用摄动分析（至ε的二阶）检验强均衡条件，尤其在返回时间为零的状态处，通过分析E[δ(ε)Xε]展开式中一阶与二阶项的符号。
• 使用两状态连续时间马尔可夫链的生成矩阵建模转移过程，并计算至o(ε²)阶的转移概率，以检验均衡条件。

实验结果

研究问题

• RQ1 能否定义一种更强的均衡概念，以更准确地捕捉连续时间时间不一致停止问题中的子博弈完美纳什均衡？
• RQ2 在何种条件下，最优温和均衡也是强均衡？
• RQ3 所提出的迭代方法是否能保证在连续时间下最优温和均衡的存在性？
• RQ4 温和、弱与强均衡之间是否存在严格层级关系？能否通过显式例子加以证明？
• RQ5 非指数贴现是否可能导致弱均衡并非强均衡的情况，即使其并非最优？

主要发现

• 当状态过程为连续时间马尔可夫链且贴现函数为对数次可加时，最优温和均衡始终为强均衡。
• 本文构造了一种新迭代方法，可直接生成最优温和均衡，从而证明了其在连续时间下的存在性。
• 在两状态马尔可夫链模型中，均衡的层级关系是严格的：最优温和 ⊊ 强 ⊊ 弱 ⊊ 温和，通过适当参数选择可使每一级严格包含于下一级。
• 对于双曲贴现函数δ(t) = 1/(1 + βt)，每个弱均衡也是强均衡，这是由于该贴现函数的特定二阶行为所致。
• 对于δ(t) = (1 + βt)^(-1/2)，存在参数区域使得{a,b}为弱均衡但非强均衡，且该集合并非最优温和均衡，表明弱均衡可能既非强也非最优。
• 当E[δ(ε)Xε]展开式的二阶项为负时，{a,b}无法构成强均衡，该情形可由不等式λa + λb < (δ''(0) - 2(δ'(0))²)/(-δ'(0))刻画，表明此类情况在非指数贴现下是可能存在的。