[论文解读] A Bellman approach for two-domains optimal control problems in $\R^N$

Guy Barles, Ariela Briani+1 more|arXiv (Cornell University)|Dec 16, 2011

Stability and Controllability of Differential Equations参考文献 16被引用 8

一句话总结

本文针对在 $\mathbb{R}^N$ 中穿过超平面的不连续动力学与运行成本的最优控制问题，提出了一种贝尔曼方法，利用微分包含在界面处定义轨迹。当排除奇异动力学时，证明了值函数是唯一解；而最小上解与最大下解分别对应于允许或禁止此类动力学的情形，从而解决了贝尔曼方程中的非唯一性问题。

ABSTRACT

This article is the starting point of a series of works whose aim is the study of deterministic control problems where the dynamic and the running cost can be completely different in two (or more) complementary domains of the space $\R^N$. As a consequence, the dynamic and running cost present discontinuities at the boundary of these domains and this is the main difficulty of this type of problems. We address these questions by using a Bellman approach: our aim is to investigate how to define properly the value function(s), to deduce what is (are) the right Bellman Equation(s) associated to this problem (in particular what are the conditions on the set where the dynamic and running cost are discontinuous) and to study the uniqueness properties for this Bellman equation. In this work, we provide rather complete answers to these questions in the case of a simple geometry, namely when we only consider two different domains which are half spaces: we properly define the control problem, identify the different conditions on the hyperplane where the dynamic and the running cost are discontinuous and discuss the uniqueness properties of the Bellman problem by either providing explicitly the minimal and maximal solution or by giving explicit conditions to have uniqueness.

研究动机与目标

• 严格定义在 $\mathbb{R}^N$ 中穿过超平面的动力学与运行成本不连续的最优控制问题。
• 识别在不连续发生处界面处应满足的正确贝尔曼方程与边界条件。
• 通过刻画最小解与最大解，解决贝尔曼方程中的非唯一性问题。
• 阐明奇异动力学与常规动力学在界面处对值函数确定所起的作用。

提出的方法

• 采用菲利波夫的微分包含方法，在超平面 $\mathcal{H} = \{x_N = 0\}$ 上定义允许的轨迹，允许来自两个半空间的动力学的凸组合。
• 在 $\mathcal{H}$ 上引入混合控制结构，控制变量为 $a = (\alpha_1, \alpha_2, \mu)$，其中 $\mu \in [0,1]$ 控制 $\Omega_1$ 与 $\Omega_2$ 中动力学的混合。
• 定义两个值函数：$\mathbf{U}^+$（最大解）通过禁止奇异动力学，$\mathbf{U}^-$（最小解）通过允许所有策略。
• 将粘性解理论应用于 $\Omega_1$ 与 $\Omega_2$ 中的耦合哈密顿-雅可比方程系统，界面条件为 $\min\{H_1, H_2\} \leq 0$ 与 $\max\{H_1, H_2\} \geq 0$ 在 $\mathcal{H}$ 上。
• 利用消失粘性与逼近方法，证明解收敛于 $\mathbf{U}^+$，从而在排除奇异动力学时确立其为唯一解。
• 采用半松弛极限技术与比较原理，证明逼近解一致收敛于最大解 $\mathbf{U}^+$。

实验结果

研究问题

• RQ1 当动力学与运行成本在 $\mathbb{R}^N$ 中的超平面上不连续时，值函数应如何定义？
• RQ2 在存在不连续动力学的情况下，值函数必须满足的正确贝尔曼方程与界面条件是什么？
• RQ3 为什么贝尔曼方程通常不具有唯一解，这种非唯一性由何引起？
• RQ4 最小上解与最大下解能否被表征为有良好定义的控制问题的值函数？
• RQ5 在何种条件下值函数被唯一确定，奇异动力学在此表征中起什么作用？

主要发现

• 当排除奇异动力学（即在两侧法向速度符号相反的动力学）时，贝尔曼系统最大解 $\mathbf{U}^+$ 是唯一值函数。
• 最小上解 $\mathbf{U}^-$ 对应于允许所有策略（包括奇异策略）时的值函数。
• 贝尔曼系统解的非唯一性源于奇异动力学未被标准界面条件所编码。
• 值函数 $\mathbf{U}^+$ 被表征为在特定标度制度下消失粘性逼近解的一致极限。
• 在一维情况下，当 $\lambda > 1$ 时，$\mathbf{U}^+(x) = |x|/\lambda + 1/\lambda^2$，且即使 $\lambda < 1$ 时解仍保持凸性，确保逼近下的稳定性。
• 粘性逼近解的半松弛极限一致收敛于 $\mathbf{U}^+$，从而确认其在排除奇异动力学时的唯一解地位。