[论文解读] PNKH-B: A Projected Newton-Krylov Method for Large-Scale Bound-Constrained Optimization

Kelvin K.W. Kan, Samy Wu Fung+1 more|arXiv (Cornell University)|May 27, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用 7

一句话总结

PNKH-B 是一种用于大规模 bound-constrained 优化的投影牛顿-Krylov方法，通过使用低秩 Hessian 近似来定义搜索方向和投影的度量，从而在极少的函数和梯度评估下实现快速收敛。它通过利用低秩结构的内点法实现线性计算复杂度，在早期收敛阶段优于最先进方法，同时保持了具有竞争力的最终精度。

ABSTRACT

We present PNKH-B, a projected Newton-Krylov method for iteratively solving large-scale optimization problems with bound constraints. PNKH-B is geared toward situations in which function and gradient evaluations are expensive, and the (approximate) Hessian is only available through matrix-vector products. This is commonly the case in large-scale parameter estimation, machine learning, and image processing. In each iteration, PNKH-B uses a low-rank approximation of the (approximate) Hessian to determine the search direction and construct the metric used in a projected line search. The key feature of the metric is its consistency with the low-rank approximation of the Hessian on the Krylov subspace. This renders PNKH-B similar to a projected variable metric method. We present an interior point method to solve the quadratic projection problem efficiently. Since the interior point method effectively exploits the low-rank structure, its computational cost only scales linearly with respect to the number of variables, and it only adds negligible computational time. We also experiment with variants of PNKH-B that incorporate estimates of the active set into the Hessian approximation. We prove the global convergence to a stationary point under standard assumptions. Using three numerical experiments motivated by parameter estimation, machine learning, and image reconstruction, we show that the consistent use of the Hessian metric in PNKH-B leads to fast convergence, particularly in the first few iterations. We provide our MATLAB implementation at https://github.com/EmoryMLIP/PNKH-B.

研究动机与目标

• 解决函数和梯度评估代价高昂、且 Hessian 仅可通过矩阵-向量乘积访问的大规模 bound-constrained 优化挑战。
• 开发一种可扩展的优化方法，无需完整 Hessian 求解或对角近似即可保持快速收敛。
• 在标准假设下确保全局收敛至驻点，同时最小化计算开销。
• 通过在搜索方向和投影中一致使用 Hessian 诱导的度量，提升早期迭代的收敛速度。
• 通过专为低秩 Hessian 近似设计的内点法，提供高效且线性时间的二次投影子问题求解方案。

提出的方法

• 在每次迭代中，利用 Krylov 子空间上 Hessian 与梯度的 Lanczos 三对角化构造低秩 Hessian 近似。
• 定义一个对称正定矩阵 $\tilde{{\bf H}}_k$，使其在 Krylov 子空间上与 Hessian 近似 ${{\bf H}}_k$ 一致，并在正交补空间中添加一个微小偏移以确保可逆性。
• 将搜索方向计算为 ${{\bf x}}_{k+1} = \Pi_{\|\cdot\|_{\tilde{{\bf H}}_k}}({{\bf x}}_k - \mu_k {{\bf H}}_k^{-1} \nabla f({{\bf x}}_k))$，其中投影使用 $\tilde{{\bf H}}_k$-诱导范数。
• 使用利用低秩结构的内点法求解投影子问题，确保计算成本随变量数线性增长。
• 引入两种变体：一种使用估计的活动集以改进 Hessian 近似，另一种使用可变分区以细化活动集识别。
• 使用强制序列自适应收紧共轭梯度求解搜索方向的容差，随着解趋近最优性而提高精度。

实验结果

研究问题

• RQ1 使用低秩 Hessian 近似的投影牛顿-Krylov 方法是否能在大规模 bound-constrained 优化中实现快速收敛，且函数和梯度评估次数极少？
• RQ2 在搜索方向和投影步骤中一致使用 Hessian 诱导度量是否相比双度量或对角度量方案能改善收敛性能？
• RQ3 当 Hessian 通过低秩结构近似时，是否能高效求解二次投影子问题并实现线性复杂度？
• RQ4 将活动集估计整合到 Hessian 近似中是否能提升收敛速度和最终最优性？
• RQ5 在投影子问题中使用更高精度的内点法时，运行时间与收敛质量之间的权衡如何？

主要发现

• 由于一致使用 Hessian 诱导度量，PNKH-B 在初始收敛阶段优于最先进方法，尤其在前几轮迭代中表现更优。
• 求解投影子问题的内点法随变量数线性扩展，尽管求解大规模二次规划，但计算开销可忽略不计。
• 在图像重建实验中，结合活动集估计的 PNKH-B 达到了 $10^{-11}$ 的投影梯度范数，显著优于基线方法的重建质量。
• 使用可变分区的 PNKH-B 运行时间约为 PNCG 的两倍，原因在于极低的内点容差（$10^{-16}$），但此并未提升图像质量，且可通过放宽容差降低。
• 在 PDE 参数估计实验中，带有边界索引和增强索引变体的 PNKH-B 分别实现了 $10^{-7}$ 和 $10^{-11}$ 的梯度范数，表明其具有鲁棒的收敛性。
• 该方法在减少所需投影次数的同时，保持了具有竞争力的最终目标值和投影梯度范数，表明每次迭代的效率更高。