[论文解读] Numerical Methods for Mean-Field-Type Optimal Control Problems

Laurent Pfeiffer|arXiv (Cornell University)|Mar 29, 2017

Advanced Optimization Algorithms Research参考文献 10被引用 9

一句话总结

本文提出两种用于求解麦克斯韦场类型最优控制问题的迭代数值方法，基于汉密尔顿-雅可比-贝尔曼方程与福克-普朗克方程的前后向格式。第一种方法作为梯度法，利用概率测度的凸组合；第二种方法引入惩罚项以生成反馈控制；在测试示例中两者均线性收敛，且第二种方法在不可微情况下表现出更优的鲁棒性。

ABSTRACT

In this article, two methods for solving mean-field type optimal control problems are proposed and investigated. The two methods are iterative methods: at each iteration, a Hamilton-Jacobi-Bellman equation is solved, for a terminal condition obtained by linearizing the cost function. The terminal condition is updated by solving a Fokker-Planck equation. The first method can be seen as a gradient method and uses in an essential manner the convexity of the set of probability distributions. A convergence result for this method is provided. The second method incorporates a penalization term and provides feedback controls. We test the methods on four academic examples.

研究动机与目标

• 开发高效的数值格式，用于求解成本依赖于终时刻状态概率分布的麦克斯韦场类型最优控制问题。
• 通过建模依赖于完整分布而非仅期望值的成本泛函，解决风险规避优化问题。
• 提供收敛算法，以计算反馈控制并处理非光滑成本函数。
• 在涉及Wasserstein距离、标准差和条件风险价值的学术示例中测试所提方法。

提出的方法

• 第一种方法在可达集内使用概率测度的凸组合，将该格式解释为最小化成本泛函的梯度法。
• 在每次迭代中，后向过程求解一个汉密尔顿-雅可比-贝尔曼（HJB）方程，其终端条件通过成本泛函导数线性化得到。
• 前向过程求解福克-普朗克方程，以在后向过程获得的控制下传播概率分布。
• 第二种方法在HJB方程的线性化形式中引入惩罚项，以稳定收敛并生成反馈控制。
• 采用半拉格朗日格式对状态变量进行离散化，以精确逼近随机微分方程及其相关PDE。
• 算法在前向与后向过程之间交替进行，迭代更新控制与分布，直至收敛。

实验结果

研究问题

• RQ1 能否基于概率测度的凸组合，为麦克斯韦场类型最优控制问题构造一种基于梯度的迭代方法？
• RQ2 在HJB方程中引入惩罚项，对麦克斯韦场最优控制中的收敛性与反馈控制质量有何影响？
• RQ3 当成本函数不可微（如基于Wasserstein距离的问题）时，所提方法的收敛行为如何？
• RQ4 在处理条件风险价值或标准差等风险规避型成本泛函时，两种方法的性能表现如何比较？
• RQ5 所提数值格式在多大程度上保持了最优性条件的结构，特别是耦合的HJB-福克-普朗克系统？

主要发现

• 第一种方法收敛至满足最优性条件的极限点，且为连续时间形式提供了理论收敛结果。
• 第二种方法引入惩罚项后，可生成反馈控制，在不可微成本函数（如Wasserstein距离示例）中表现优于第一种方法。
• 在全部四个测试案例中，两种方法均线性收敛，准则εℓ趋近于零，仅在第一例中因成本函数缺乏连续可微性而略有偏差。
• 对于涉及期望与标准差的测试案例，最优控制为时间常数且呈现bang-bang结构，与值函数的形状一致。
• 条件风险价值示例表明，该算法在有利状态下正确倾向于更保守的策略，并在高影响情景中采用更激进的控制。
• 在所有示例中，两种算法之间的成本差异可忽略不计，表明第二种方法在实现相当性能的同时，额外具备生成反馈控制的优势。