[论文解读] Implementing a smooth exact penalty function for equality-constrained nonlinear optimization

Ron Estrin, Michael P. Friedlander+2 more|arXiv (Cornell University)|Oct 9, 2019

Matrix Theory and Algorithms参考文献 47被引用 18

一句话总结

本文提出了一种计算高效的Fletcher光滑精确罚函数实现方法，用于处理等式约束的非线性优化问题。通过利用结构化的线性系统求解和自适应正则化，该方法在标准非线性规划问题和PDE约束问题上均展现出实用性，同时实现了R-二次收敛，从而挑战了长期以来认为此类罚函数在计算上不可行的观念。

ABSTRACT

We develop a general equality-constrained nonlinear optimization algorithm based on a smooth penalty function proposed by Fletcher (1970). Although it was historically considered to be computationally prohibitive in practice, we demonstrate that the computational kernels required are no more expensive than other widely accepted methods for nonlinear optimization. The main kernel required to evaluate the penalty function and its derivatives is solving a structured linear system. We show how to solve this system efficiently by storing a single factorization each iteration when the matrices are available explicitly. We further show how to adapt the penalty function to the class of factorization-free algorithms by solving the linear system iteratively. The penalty function therefore has promise when the linear system can be solved efficiently, e.g., for PDE-constrained optimization problems where efficient preconditioners exist. We discuss extensions including handling simple constraints explicitly, regularizing the penalty function, and inexact evaluation of the penalty function and its gradients. We demonstrate the merits of the approach and its various features on some nonlinear programs from a standard test set, and some PDE-constrained optimization problems.

研究动机与目标

• 挑战长期以来认为Fletcher光滑精确罚函数在实际应用中计算上不可行的观念。
• 证明核心计算内核——求解结构化的鞍点系统——的计算成本并不高于广泛使用的序列二次规划等方法。
• 通过高效的直接和迭代线性求解器，使该罚函数能够应用于大规模问题，特别是PDE约束优化问题。
• 开发实用的改进策略，如针对秩亏约束的正则化方法和近似评估策略。
• 在较弱假设下建立全局与局部收敛性质，包括通过自适应罚参数更新实现的R-二次收敛。

提出的方法

• 提出一种基于拉格朗日函数二次逼近最小化的光滑精确罚函数φσ(x)，其中乘子估计yσ(x)通过最小二乘问题计算得出。
• 识别出求解结构化鞍点系统为关键计算内核，当矩阵显式给出时，每迭代一次仅需一次分解即可高效求解。
• 通过迭代求解线性系统，将该方法适配于无需分解的算法框架，从而支持Krylov子空间方法与预条件技术的应用。
• 引入一种正则化变体φσ(x; δ)，以处理退化约束雅可比矩阵并提升数值稳定性。
• 采用自适应罚参数策略，其中δk基于梯度范数进行更新，确保实现R-二次收敛。
• 使用信赖域类全局化的不精确牛顿法，允许对梯度和Hessian-向量乘积进行近似计算。

实验结果

研究问题

• RQ1 Fletcher的光滑精确罚函数能否被高效实现，从而在大规模非线性优化中具备实际可行性？
• RQ2 评估罚函数及其导数的计算成本是否与序列二次规划等成熟方法相当？
• RQ3 该罚函数能否适配于无需分解的优化框架，特别是在具有高效预条件器的PDE约束问题中？
• RQ4 所提出的正则化策略是否能在约束雅可比矩阵秩亏时确保收敛性与稳定性？
• RQ5 通过自适应罚参数更新规则，是否可实现R-二次收敛，且无需精确计算Hessian矩阵？

主要发现

• 罚函数φσ(x)是精确的：对于所有σ > σ∗，原问题的局部极小点也是φσ的极小点，从而保证全局收敛。
• 主要计算开销——求解结构化的鞍点系统——在矩阵显式给出且每迭代仅分解一次时，其计算成本并不高于标准方法。
• 对于大规模问题，通过迭代求解线性系统可实现高效计算，尤其在PDE约束优化等存在良好预条件器的情况下更具优势。
• 正则化罚函数φσ(x; δ)确保了在解附近Hessian矩阵的C2光滑性与正定性，从而支持超线性收敛。
• 自适应罚参数更新策略实现了R-二次收敛，即使梯度计算为近似值，仍有∥xk − x∗∥ = O(δk)且δk+1 = O(δk²)。
• 在标准测试问题和PDE约束优化问题上的数值实验验证了该方法的鲁棒性、高效性以及快速的局部收敛特性。