[论文解读] Mean-field optimal control and optimality conditions in the space of probability measures

Martin Burger, René Pinnau+2 more|arXiv (Cornell University)|Feb 14, 2019

Groundwater flow and contamination studies被引用 4

一句话总结

本文为由概率测度控制的系统开发了一套基于平均场的最优控制框架，通过在概率测度空间中采用拉格朗日方法推导了一阶最优性条件。它建立了粒子层面与平均场伴随变量之间的严格联系，证明了随着粒子数量增加，最优控制的收敛速率，并通过与测度空间伴随变量的直接关联，为基于 $L^2$ 的数值方法提供了理论依据。

ABSTRACT

We derive a framework to compute optimal controls for problems with states in the space of probability measures. Since many optimal control problems constrained by a system of ordinary differential equations (ODE) modelling interacting particles converge to optimal control problems constrained by a partial differential equation (PDE) in the mean-field limit, it is interesting to have a calculus directly on the mesoscopic level of probability measures which allows us to derive the corresponding first-order optimality system. In addition to this new calculus, we provide relations for the resulting system to the first-order optimality system derived on the particle level, and the first-order optimality system based on $L^2$-calculus under additional regularity assumptions. We further justify the use of the $L^2$-adjoint in numerical simulations by establishing a link between the adjoint in the space of probability measures and the adjoint corresponding to $L^2$-calculus. Moreover, we prove a convergence rate for the convergence of the optimal controls corresponding to the particle formulation to the optimal controls of the mean-field problem as the number of particles tends to infinity.

研究动机与目标

• 开发适用于状态位于概率测度空间中的最优控制问题的一阶最优性系统，实现直接的数值实现。
• 弥合基于哈密顿量的方法（如庞特里亚金原理）与平均场极限下基于拉格朗日的推导之间的差距。
• 通过建立与测度空间中伴随变量的直接对应关系，严格证明在数值模拟中使用 $L^2$-伴随变量的合理性。
• 在 $N \to \infty$ 的条件下，证明从 $N$-粒子系统导出的最优控制向其平均场对应物收敛的收敛速率。

提出的方法

• 在概率测度空间中采用拉格朗日公式推导一阶最优性条件，避免显式使用拉格朗日流。
• 引入动量方程作为伴随系统，刻画测度空间中对偶变量的特征。
• 在适当正则性假设下，建立了测度空间中伴随变量与经典 $L^2$-伴随变量之间的直接联系。
• 使用 $W_2$ 水平集距离量化概率测度之间的距离，并推导状态变量与控制变量的稳定性估计。
• 对测度轨迹之间平方水平集距离的时间导数应用格朗沃尔不等式，以证明稳定性。
• 结合庞加莱不等式与能量估计，推导出当 $N \to \infty$ 时最优控制的收敛速率。

实验结果

研究问题

• RQ1 如何在概率测度空间中直接推导平均场最优控制问题的一阶最优性条件？
• RQ2 测度空间中的伴随变量与标准 PDE 约束优化中使用的 $L^2$-伴随变量之间的确切关系是什么？
• RQ3 有限粒子系统中的最优控制如何收敛到平均场极限下的最优控制，其收敛速率是多少？
• RQ4 测度空间中的拉格朗日方法能否用于证明并统一现有的基于哈密顿量与 $L^2$ 的公式？
• RQ5 在何种条件下，平均场最优控制问题的最小化器是唯一的？

主要发现

• 本文通过拉格朗日框架在概率测度空间中建立了最优性系统，为数值实现提供了基础。
• 推导出动量方程作为伴随系统，为测度空间中对偶变量提供了几何与分析上的刻画。
• 证明了测度空间中的伴随变量与 $L^2$-伴随变量之间的直接联系，从而为数值模拟中使用 $L^2$ 微积分提供了理论支持。
• 在适当的正则性与稳定性条件下，$N$-粒子系统最优控制收敛到平均场最优控制的速率为 $\mathcal{O}(1/\sqrt{N})$。
• 在相同假设下，通过稳定性估计与收敛结果，证明了粒子问题与平均场问题最小化器的唯一性。