[論文レビュー] Equipping Barzilai-Borwein method with two dimensional quadratic termination property

Yakui Huang, Yu‐Hong Dai+1 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Optimization Algorithms Research参考文献 54被引用数 5

ひとこと要約

本稿では、線形探索やヘッセ行列の計算を必要とせず、過去のBBステップサイズのみに依存することで、Barzilai-Borwein (BB) 法に2次元の二次的終了性を付与する、新しい勾配ステップサイズを導入する。得られる手法は、二次的・非制約的・ボックス制約付き・極端固有値問題において優れた収束性を示し、数値実験で最先端の手法を上回る性能を発揮する。

ABSTRACT

A novel gradient stepsize is derived at the motivation of equipping the Barzilai-Borwein (BB) method with two dimensional quadratic termination property. A remarkable feature of the novel stepsize is that its computation only depends on the BB stepsizes in previous iterations and does not require any exact line search or the Hessian, and hence it can easily be extended for nonlinear optimization. By adaptively taking long BB steps and some short steps associated with the new stepsize, we develop an efficient gradient method for quadratic optimization and general unconstrained optimization and extend it to solve extreme eigenvalues problems. The proposed method is further extended for box-constrained optimization and singly linearly box-constrained optimization by incorporating gradient projection techniques. Numerical experiments demonstrate that the proposed method outperforms the most successful gradient methods in the literature.

研究の動機と目的

• 2次元二次的終了性を達成する勾配法の開発。この性質により、2次元の二次関数に対して高速収束が保証される。
• 過去のBB反復結果にのみ依存するステップサイズの設計。広範な適用性を確保するため、正確な線形探索やヘッセ行列情報の必要性を回避する。
• 勾配射影を用いて、非制約的・ボックス制約付き・単一線形ボックス制約付き最適化問題へこの手法を拡張する。
• ステップサイズ機構を適応させることで、極端固有値問題における性能を向上させる。
• 多様な最適化問題において、既存の勾配法と比較して優れた効率性を示すことを実証する。

提案手法

• 2次元二次的終了性を保証するメカニズムに基づき、過去のBBステップサイズのみを用いて導出された新しいステップサイズ式 (18) を提案する。
• 長めのBBステップと短いステップを交互に使用する新しいステップサイズを用いた方法 (27) を開発し、効率的な二次的最適化を実現する。
• 一般非制約最適化のためのアルゴリズム1を構築するため、方法 (27) をGripp-Lampariello-Lucidi (GLL) の非単調線形探索と統合する。
• 極端固有値問題のためのアルゴリズム2を設計するため、Dai-Fletcher の非単調線形探索とこの手法を適応統合する。
• 勾配射影を用いて、ボックス制約付きおよび単一線形ボックス制約付き問題へこのアプローチを拡張し、アルゴリズム3を導出する。
• Yuanのステップサイズを特別な場合として統合するメカニズムを採用し、より広範な枠組みに統合する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列や線形探索を必要とせず、過去のBB反復結果のみに依存する新しい勾配ステップサイズを設計することで、BB法に2次元二次的終了性を付与できるか？
• RQ2 このようなステップサイズを、長めのBBステップと短いステップを交互に使用するハイブリッド手法に統合することで、収束性を向上させられるか？
• RQ3 得られる手法が、非制約的および制約付き最適化において、既存の勾配法を上回る性能を発揮できるか？
• RQ4 この手法が、極端固有値問題に拡張された場合でも、効率性とロバスト性を維持できるか？
• RQ5 このフレームワークをボックス制約付きおよび単一線形ボックス制約付き問題に一般化でき、強力な数値的性能を発揮できるか？

主な発見

• 二次的最適化のための提案手法 (27) は、BB1、Dai-Yuan、ABB、ABBmin1、ABBmin2、SDC と比較して、反復回数およびCPU時間の両面で顕著に優れた性能を示す。
• 方法 (27) を GLL の非単調線形探索と組み合わせたアルゴリズム1は、CUTEst の非制約テスト問題において、GBB や ABBmin を上回る性能を発揮する。
• 極端固有値問題のためのアルゴリズム2は、EigUncABB と比較して特に大規模問題において優れた性能を示す。
• ボックス制約付きおよびSLB問題のためのアルゴリズム3は、SPG、BoxVABBmin、Dai-Fletcher、EQ-VABBmin と比較して、反復回数が少なく、収束が速い。
• 1000例のSVM問題において、アルゴリズム3はDai-Fletcherと比較して63–121反復（Dai-Fletcherは78–293）で、0.17–0.55秒（Dai-Fletcherは0.24–0.81秒）を要し、一貫した優位性を示す。
• 性能プロファイルは、複数のデータセットおよび許容誤差レベルにおいて、アルゴリズム3がDai-FletcherおよびEQ-VABBminを常に上回ることを確認する。