[论文解读] An iteration count estimate for a mesh-dependent steepest descent method based on finite elements and Riesz inner product representation

Tobias Schwedes, Simon W. Funke+1 more|arXiv (Cornell University)|Jun 26, 2016

Advanced Numerical Methods in Computational Mathematics参考文献 9被引用 12

一句话总结

本文推导了在有限元离散化希尔伯特空间优化问题中，使用ℓ²内积时，网格相关最速下降法的迭代次数的解析估计。结果表明，当使用ℓ²内积时，迭代次数随网格非均匀性呈多项式增长；而使用Riesz表示的$L^2$内积时，收敛在恰好一次迭代内完成，与网格无关。

ABSTRACT

Existing implementations of gradient-based optimisation methods typically assume that the problem is posed in Euclidean space. When solving optimality problems on function spaces, the functional derivative is then inaccurately represented with respect to $\ell^2$ instead of the inner product induced by the function space. This error manifests as a mesh dependence in the number of iterations required to solve the optimisation problem. In this paper, an analytic estimate is derived for this iteration count in the case of a simple and generic discretised optimisation problem. The system analysed is the steepest descent method applied to a finite element problem. The estimate is based on Kantorovich's inequality and on an upper bound for the condition number of Galerkin mass matrices. Computer simulations validate the iteration number estimate. Similar numerical results are found for a more complex optimisation problem constrained by a partial differential equation. Representing the functional derivative with respect to the inner product induced by the continuous control space leads to mesh independent convergence.

研究动机与目标

• 量化在基于梯度的有限元离散函数空间优化中使用错误内积（ℓ²）的计算成本。
• 证明当泛函导数以ℓ²而非连续函数空间内积表示时，会引发网格依赖性。
• 在通用有限元设置下，推导使用ℓ²内积的最速下降法的迭代次数的解析估计。
• 通过在简单$L^2$问题和PDE约束最优控制问题上的数值模拟，验证理论估计。
• 表明使用与正确希尔伯特空间内积对应的Riesz表示梯度，可实现与网格无关的收敛性。

提出的方法

• 将柯尔莫哥洛夫不等式应用于通用希尔伯特空间优化问题的有限元离散化，以界定最速下降法的收敛速率。
• 推导加权质量矩阵条件数的上界，以估计迭代次数对网格非均匀性的依赖关系。
• 利用Riesz表示定理，通过正确内积将泛函导数从对偶空间映射到原函数空间。
• 比较使用ℓ²内积（网格相关）与$L^2$内积（网格无关）的最速下降法的收敛行为。
• 在简单$L^2$优化问题和PDE约束最优控制问题（泊松方程）上进行数值实验，以验证理论估计。
• 采用标准优化包（Scipy、TAO、IPOPT）与网格无关包（Moola）比较不同内积假设下的迭代次数。

实验结果

研究问题

• RQ1 与$L^2$内积相比，使用ℓ²内积如何影响有限元最速下降法的迭代次数？
• RQ2 能否在有限元设置下，为网格相关的最速下降法推导出迭代次数的解析估计？
• RQ3 当使用ℓ²内积时，迭代次数对网格非均匀性的依赖关系如何？
• RQ4 使用与正确希尔伯特空间内积对应的Riesz表示梯度，是否能消除收敛性中的网格依赖性？
• RQ5 标准优化包（如Scipy、IPOPT）在非均匀网格上应用时，其迭代次数表现如何，是否依赖于所用内积？

主要发现

• 使用ℓ²内积的最速下降法的迭代次数随网格最大与最小单元尺寸之比$h_{\text{max}}/h_{\text{min}}$呈多项式增长。
• 对于同一问题，使用与$L^2$内积对应的Riesz表示梯度时，收敛恰好在一次迭代内完成，与网格加密无关。
• 数值实验验证了理论估计：在$L^2$情况下，当$h_{\text{max}}/h_{\text{min}}$从4增至128时，迭代次数增加4至25倍。
• 标准优化包（如Scipy、TAO、IPOPT）在使用ℓ²内积时表现出强烈的网格依赖性，非均匀网格上迭代次数显著上升。
• Moola的BFGS实现（尊重$H^1$内积）在所有测试的非均匀网格上均实现网格无关收敛，仅需4次迭代。
• 本研究证实，网格无关性并非数学上的装饰性特性，而是大规模非均匀网格优化计算可行性的关键要求。