[论文解读] Convergence of the solutions of the discounted Hamilton-Jacobi equation: a counterexample

Bruno Ziliotto|arXiv (Cornell University)|Jan 18, 2018

Quantum chaos and dynamical systems参考文献 12被引用 17

一句话总结

本文构造了一个反例，推翻了关于折扣哈密顿-雅可比方程解在折扣因子趋于零时一致收敛的猜想，即使哈密顿量是连续且强制的。通过一个具有特定动作集和转移规则的一维随机博弈，作者证明了归一化值函数 $ u_ heta = v_ heta + c(H)/\theta $ 沿某些序列 $ \theta_n \to 0 $ 不收敛，从而解决了在非凸哈密顿量下黏性解理论中的一个开放问题。

ABSTRACT

This paper provides a counterexample about the asymptotic behavior of the solutions of a discounted Hamilton-Jacobi equation, as the discount factor vanishes. The Hamiltonian of the equation is a 1-dimensional continuous and coercive Hamiltonian.

研究动机与目标

• 解决一个长期开放的问题：在不假设动量变量下凸性的情况下，折扣哈密顿-雅可比方程的归一化解 $ u_\lambda $ 是否在 $ \lambda \to 0 $ 时一致收敛。
• 构造一个连续、强制的一维哈密顿量，使得该族解 $ u_\lambda $ 沿某些趋于零的折扣序列不收敛。
• 建立哈密顿-雅可比方程解的渐近行为与不完全信息随机博弈中极限值之间的联系。
• 证明在动量变量下凸性假设成立时已知的收敛结果无法推广至一般连续、强制的哈密顿量。

提出的方法

• 构造一个两状态的随机博弈 $ \Gamma $，其动作集不对称：玩家1有二元动作 $ \{0,1\} $，玩家2有可数集 $ J = \{2 - \sqrt{2} + 2^{-2n} \}_{n \geq 1} \cup \{2 - \sqrt{2}\} $。
• 定义转移函数和支付函数，使得博弈动态和期望支付依赖于动作的乘积，从而形成非凸结构。
• 利用折扣随机博弈的值函数 $ \gamma_\lambda $，通过离散逼近方法构造对应的哈密顿量。
• 将 $ u_\lambda $ 定义为归一化解 $ v_\lambda + c(H)/\lambda $，其中 $ v_\lambda $ 是折扣HJ方程的解。
• 沿两条序列 $ \lambda_n = \frac{2^{-2n}}{3/4 - \sqrt{2}} $ 和 $ \mu_n = \frac{2^{-2n-1}}{3/4 - \sqrt{2}} $ 分析 $ \gamma_\lambda $ 的渐近行为，证明其极限不同。
• 证明玩家2策略下值函数 $ \gamma_\lambda(y,z) $ 的下确界沿 $ \lambda_n $ 和 $ \mu_n $ 收敛到不同极限，从而表明 $ u_\lambda $ 不收敛。

实验结果

研究问题

• RQ1 对于连续、强制的哈密顿量（不假设动量变量下凸性），折扣哈密顿-雅可比方程的归一化解 $ u_\lambda $ 是否在 $ \lambda \to 0 $ 时一致收敛？
• RQ2 能否通过随机博弈理论构造反例，以证明在缺乏凸性时 $ u_\lambda $ 不收敛？
• RQ3 是否存在序列 $ \lambda_n \to 0 $，使得不完全信息随机博弈的值函数不收敛？
• RQ4 在一维随机博弈中，当一方玩家的动作集在 $ 2 - \sqrt{2} $ 附近稠密，而另一方仅有二元动作时，值函数的渐近行为如何？

主要发现

• 对于一个连续、强制的一维哈密顿量，归一化解 $ u_\lambda $ 在 $ \lambda \to 0 $ 时不收敛，从而为一个长期存在的猜想提供了反例。
• 沿序列 $ \lambda_n = \frac{2^{-2n}}{3/4 - \sqrt{2}} $，玩家2策略下值函数 $ \gamma_{\lambda_n}(y,z) $ 的下确界收敛到 $ \frac{1}{\sqrt{2}} \approx 0.707 $。
• 沿序列 $ \mu_n = \frac{2^{-2n-1}}{3/4 - \sqrt{2}} $，下确界收敛到 $ \frac{5}{2\sqrt{2}} - 1 \approx 0.0607 $，该值严格大于 $ \frac{1}{\sqrt{2}} $。
• 在 $ \lambda_n $ 和 $ \mu_n $ 上极限不同，表明即使哈密顿量连续且强制，族 $ u_\lambda $ 也不一致收敛。
• 该反例通过一个不完全信息的随机博弈构造而成，其中玩家2的动作集在 $ 2 - \sqrt{2} $ 附近稠密，从而在值函数中诱导出振荡行为。
• 结果表明，$ u_\lambda $ 的收敛性在凸性假设下并非连续、强制哈密顿量的普遍性质，凸性是实现一致收敛的必要条件。