[论文解读] Equipping Barzilai-Borwein method with two dimensional quadratic termination property

Yakui Huang, Yu‐Hong Dai+1 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Optimization Algorithms Research参考文献 54被引用 5

一句话总结

本文提出了一种新型梯度步长，使Barzilai-Borwein（BB）方法具备二维二次终止特性，仅依赖于先前的BB步长，无需线搜索或Hessian矩阵计算。所提出的算法在二次、无约束、框约束及极端特征值问题上均展现出优越的收敛性能，在数值实验中优于当前最先进的方法。

ABSTRACT

A novel gradient stepsize is derived at the motivation of equipping the Barzilai-Borwein (BB) method with two dimensional quadratic termination property. A remarkable feature of the novel stepsize is that its computation only depends on the BB stepsizes in previous iterations and does not require any exact line search or the Hessian, and hence it can easily be extended for nonlinear optimization. By adaptively taking long BB steps and some short steps associated with the new stepsize, we develop an efficient gradient method for quadratic optimization and general unconstrained optimization and extend it to solve extreme eigenvalues problems. The proposed method is further extended for box-constrained optimization and singly linearly box-constrained optimization by incorporating gradient projection techniques. Numerical experiments demonstrate that the proposed method outperforms the most successful gradient methods in the literature.

研究动机与目标

• 开发一种梯度方法，实现二维二次终止特性，该特性可确保在二维二次函数上实现快速收敛。
• 设计一种仅依赖于先前BB迭代的步长，避免精确线搜索或Hessian信息，以增强广泛适用性。
• 通过梯度投影方法，将该方法扩展至无约束、框约束及单线性框约束优化问题。
• 通过改进步长机制，提升在极端特征值问题上的性能。
• 在多种优化问题中，与现有梯度方法相比，证明其具有更高的效率。

提出的方法

• 提出一种新步长公式（18），其机制可确保二维二次终止，且仅使用先前的BB步长。
• 设计方法（27），通过交替使用长BB步长与采用新步长的短步长，实现高效的二次优化。
• 将该方法与Gripp-Lampariello-Lucidi（GLL）非单调线搜索相结合，形成用于一般无约束优化的算法1。
• 采用Dai-Fletcher非单调线搜索，将该方法适配于极端特征值问题，设计出算法2。
• 通过梯度投影方法，将该方法扩展至框约束及单线性框约束问题，得到算法3。
• 采用一种机制，将Yuan的步长作为特例嵌入更广泛的框架中。

实验结果

研究问题

• RQ1 能否设计一种新型梯度步长，使BB方法具备二维二次终止特性，而无需Hessian矩阵或线搜索？
• RQ2 如何将此类步长整合进一种混合方法，通过交替使用长BB步长与短步长以提升收敛性能？
• RQ3 所提出的算法能否在无约束和约束优化中优于现有梯度方法？
• RQ4 当该方法扩展至极端特征值问题时，是否仍保持高效性与鲁棒性？
• RQ5 该框架能否推广至框约束及单线性框约束问题，并保持强大的数值性能？

主要发现

• 所提出的二次优化方法（27）在迭代次数与CPU时间方面，显著优于BB1、Dai-Yuan、ABB、ABBmin1、ABBmin2及SDC。
• 算法1（将方法（27）与GLL非单调线搜索结合）在CUTEst无约束测试问题上，优于GBB与ABBmin。
• 算法2在极端特征值问题上的表现优于EigUncABB，尤其在大规模问题上优势明显。
• 算法3在框约束及SLB问题上，迭代次数更少，收敛速度更快，优于SPG、BoxVABBmin、Dai-Fletcher与EQ-VABBmin。
• 在含1000个样本的SVM问题中，算法3仅需63–121次迭代（Dai-Fletcher为78–293次），耗时0.17–0.55秒（Dai-Fletcher为0.24–0.81秒），表现一致更优。
• 性能分析图显示，算法3在多个数据集与不同精度要求下，始终优于Dai-Fletcher与EQ-VABBmin。