[论文解读] Analysis of stochastic gradient methods for PDE-constrained optimal Control Problems with uncertain parameters

Matthieu Martin, Sebastian Krumscheid+1 more|arXiv (Cornell University)|Mar 9, 2018

Stochastic Gradient Optimization Techniques参考文献 24被引用 17

一句话总结

本文提出一种随机梯度方法，用于求解具有随机系数的PDE约束最优控制问题，采用有限元空间离散化和蒙特卡洛采样。结果表明，变样本量随机梯度方法的计算复杂度优于固定样本量方法，在风险厌恶型最优控制设置中显著提升了效率。

ABSTRACT

We consider the numerical approximation of a risk-averse optimal control problem for an elliptic partial differential equation (PDE) with random coefficients. Specifically, the control function is a deterministic, distributed forcing term that minimizes the expected mean squared distance between the state (i.e. solution to the PDE) and a target function, subject to a regularization for well posedness. For the numerical treatment of this risk-averse optimal control problem, we consider a Finite Element discretization of the underlying PDEs, a Monte Carlo sampling method, and gradient type iterations to obtain the approximate optimal control. We provide full error and complexity analysis of the proposed numerical schemes. In particular we compare the complexity of a fixed Monte Carlo gradient method, in which the Finite Element discretization and Monte Carlo sample are chosen initially and kept fixed over the gradient iterations, with a Stochastic Gradient method in which the expectation in the computation of the steepest descent direction is approximated by independent Monte Carlo estimators with small sample sizes and possibly varying Finite Element mesh sizes across iterations. We show in particular that the second strategy results in an improved computational complexity. The theoretical error estimates and complexity results are confirmed by our numerical experiments.

研究动机与目标

• 解决具有随机系数的椭圆PDE的风险厌恶型最优控制问题。
• 为最小化状态与目标之间期望均方误差，开发高效的数值格式。
• 比较固定蒙特卡洛方法与自适应随机梯度方法的计算复杂度。
• 为两种方法提供严格的误差与复杂度分析。
• 通过数值实验验证理论结果。

提出的方法

• 使用有限元法对具有随机系数的椭圆PDE进行空间离散化。
• 通过蒙特卡洛采样近似目标泛函中的期望值。
• 采用最速下降迭代法最小化风险厌恶型目标函数。
• 采用随机梯度方法，在每次迭代中使用独立的小样本蒙特卡洛估计器。
• 该方法允许在不同迭代中调整有限元网格尺寸与样本数量。
• 通过自适应采样与网格加密，实现精度与计算成本之间的平衡。

实验结果

研究问题

• RQ1 在具有不确定性的PDE约束最优控制中，固定蒙特卡洛梯度方法与随机梯度方法的计算复杂度如何比较？
• RQ2 在迭代过程中改变有限元网格尺寸与蒙特卡洛样本数量，对收敛性与效率有何影响？
• RQ3 随机梯度方法是否能在保持精度的同时，实现优于固定样本量方法的复杂度？
• RQ4 能否为所提出的随机梯度方案严格推导出误差界？
• RQ5 理论复杂度结果与实际数值表现是否一致？

主要发现

• 采用自适应采样与网格加密的随机梯度方法，其计算复杂度低于固定蒙特卡洛方法。
• 所提方法在保持最优收敛速率的同时，显著降低了整体计算成本。
• 理论误差估计证实了随机梯度方案的稳定性和收敛性。
• 数值实验验证了理论复杂度改进与误差界的有效性。
• 该方法在高维不确定性下的风险厌恶型最优控制问题中尤为有效。