[论文解读] A fast iterative PDE-based algorithm for feedback controls of nonsmooth mean-field control problems

Christoph Reisinger, Wolfgang Stockinger+1 more|arXiv (Cornell University)|Aug 15, 2021

Model Reduction and Neural Networks参考文献 46被引用 5

一句话总结

该论文提出了一种快速迭代的PDE基算法FIPDE，用于计算具有联合状态-动作均场相互作用的非光滑均场控制问题中的反馈控制。通过结合前向-后向分裂、近端梯度步骤以及动态更新的动量，该方法利用有限差分或神经网络高效求解高维McKean-Vlasov SDE，实现鲁棒性能，并成功捕捉到Cucker-Smale模型稀疏稳定化中的关键控制结构。

ABSTRACT

We propose a PDE-based accelerated gradient algorithm for optimal feedback controls of McKean-Vlasov dynamics that involve mean-field interactions both in the state and action. The method exploits a forward-backward splitting approach and iteratively refines the approximate controls based on the gradients of smooth costs, the proximal maps of nonsmooth costs, and dynamically updated momentum parameters. At each step, the state dynamics is approximated via a particle system, and the required gradient is evaluated through a coupled system of nonlocal linear PDEs. The latter is solved by finite difference approximation or neural network-based residual approximation, depending on the state dimension. We present exhaustive numerical experiments for low and high-dimensional mean-field control problems, including sparse stabilization of stochastic Cucker-Smale models, which reveal that our algorithm captures important structures of the optimal feedback control and achieves a robust performance with respect to parameter perturbation.

研究动机与目标

• 开发一种在具有非光滑代价函数和联合均场相互作用的均场控制问题中，计算最优反馈控制的数值高效且鲁棒的算法。
• 解决具有非光滑代价函数（包括稀疏诱导和约束控制）的高维McKean-Vlasov SDE的求解挑战。
• 通过结合PDE基梯度计算与迭代近端优化以及基于粒子的动力学模拟，实现最优反馈律的实际计算。
• 在低维与高维问题中均展示出鲁棒性与准确性，包括具有稀疏控制的随机Cucker-Smale模型。

提出的方法

• 该算法采用前向-后向分裂方法，将由代价泛函梯度引出的非局部线性PDE耦合系统解耦。
• 通过近端映射处理代价函数中的非光滑分量，如ℓ1正则化或控制约束的指示函数。
• 在每次迭代中动态更新动量参数，以加速收敛，遵循加速梯度法框架。
• 通过N条轨迹的粒子近似模拟状态动力学，实现对代价和梯度的经验估计。
• 在低维情况下使用有限差分格式求解PDE系统，在高维情况下采用基于神经网络的残差近似方法。
• 通过监督学习步骤训练神经网络以近似值函数及其梯度，损失函数通过Adam优化器在内部点和边界点的小批量数据上最小化。

实验结果

研究问题

• RQ1 PDE基迭代算法能否高效计算具有非光滑代价函数的均场控制问题中的反馈控制？
• RQ2 所提出的FIPDE方法在高维设置下表现如何，特别是在ℓ1-范数等非光滑正则化条件下？
• RQ3 动态动量与近端更新对求解非光滑MFC问题的收敛速度与鲁棒性有何影响？
• RQ4 该算法在捕捉如随机Cucker-Smale系统等模型中最优控制的结构性特征（如稀疏性）方面表现如何？

主要发现

• FIPDE算法成功捕捉了随机Cucker-Smale模型中最优反馈控制的稀疏结构，即使在高维状态空间下亦然。
• 对于六维Cucker-Smale模型，当β=0时，每轮NAG迭代约需20分钟稳定收敛；当β=1时，每轮迭代约需8小时，反映出交互核复杂度增加带来的计算成本上升。
• NNPG方法在六维问题上耗时约20–40分钟，而FIPDE方法虽每轮迭代更快，但因迭代次数更多，总耗时更长。
• 该算法对参数扰动具有鲁棒性，在Cucker-Smale模型中β与γ₂的不同取值下均保持稳定性能。
• 基于神经网络的PDE求解器有效处理了有限差分方法难以应对的高维问题。
• 经过足够轮次迭代后，经验损失实现稳定，学习率调度器显著改善了所有测试案例中的收敛行为。