[논문 리뷰] Equipping Barzilai-Borwein method with two dimensional quadratic termination property

Yakui Huang, Yu‐Hong Dai외 1명|arXiv (Cornell University)|2020. 10. 23.

Advanced Optimization Algorithms Research참고 문헌 54인용 수 5

한 줄 요약

이 논문은 선형 탐색이나 헤시안 행렬 계산 없이 이전 BB 스텝사이즈만을 사용하여 바지라이-보르베인(BB) 방법에 이차원 이차 종료 성질을 부여하는 새로운 그래디언트 스텝사이즈를 제안한다. 이로 인해 이차, 비제약, 상자 제약, 극단적 고유값 문제에서 뛰어난 수렴성을 달성하며, 수치 실험에서 최신 기법들을 능가한다.

ABSTRACT

A novel gradient stepsize is derived at the motivation of equipping the Barzilai-Borwein (BB) method with two dimensional quadratic termination property. A remarkable feature of the novel stepsize is that its computation only depends on the BB stepsizes in previous iterations and does not require any exact line search or the Hessian, and hence it can easily be extended for nonlinear optimization. By adaptively taking long BB steps and some short steps associated with the new stepsize, we develop an efficient gradient method for quadratic optimization and general unconstrained optimization and extend it to solve extreme eigenvalues problems. The proposed method is further extended for box-constrained optimization and singly linearly box-constrained optimization by incorporating gradient projection techniques. Numerical experiments demonstrate that the proposed method outperforms the most successful gradient methods in the literature.

연구 동기 및 목표

• 이차 함수에서 빠른 수렴을 보장하는 이차원 이차 종료 성질을 갖는 그래디언트 방법을 개발하는 것.
• 정확한 선형 탐색이나 헤시안 정보 없이 이전 BB 반복값에만 의존하는 스텝사이즈를 설계하여 광범위한 적용 가능성을 확보하는 것.
• 기울기 투영을 통해 비제약, 상자 제약, 단일 선형 상자 제약 최적화 문제에 이 방법을 확장하는 것.
• 스텝사이즈 메커니즘의 적응을 통해 극단적 고유값 문제에서의 성능을 향상시키는 것.
• 다양한 최적화 문제에서 기존 그래디언트 기법들과 비교해 뛰어난 효율성을 입증하는 것.

제안 방법

• 이중 차원 이차 종료 성질을 보장하는 메커니즘에서 유도된 새로운 스텝사이즈 공식 (18)을 제안하며, 이는 이전 BB 스텝사이즈만을 사용한다.
• 긴 BB 스텝과 짧은 스텝을 번갈아 사용하는 새로운 스텝사이즈를 적용한 방법 (27)을 개발하여 효율적인 이차 최적화를 달성한다.
• 일반적인 비제약 최적화를 위한 알고리즘 1을 만들기 위해 방법 (27)을 Gripp-Lampariello-Lucidi(GGL) 비단조화 선형 탐색과 통합한다.
• 극단적 고유값 문제를 위한 알고리즘 2를 설계하기 위해 방법을 Dai-Fletcher 비단조화 선형 탐색과 통합한다.
• 기울기 투영을 통해 상자 제약 및 단일 선형 상자 제약 문제에 대한 확장을 수행하여 알고리즘 3을 도출한다.
• 유원(Yuan)의 스텝사이즈를 특수 케이스로 포함하는 일반화된 메커니즘을 도입하여 더 넓은 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 헤시안 행렬이나 선형 탐색 없이도 BB 방법에 이중 차원 이차 종료 성질을 부여할 수 있는 새로운 그래디언트 스텝사이즈를 설계할 수 있는가?
• RQ2 이러한 스텝사이즈는 긴 BB 스텝과 짧은 스텝을 번갈아 사용하는 하이브리드 방법에 어떻게 통합되어 수렴성을 향상시킬 수 있는가?
• RQ3 이러한 방법은 비제약 및 제약 최적화 문제에서 기존 그래디언트 기법들을 능가할 수 있는가?
• RQ4 극단적 고유값 문제로 확장되었을 때도 이 방법은 효율성과 강건성을 유지하는가?
• RQ5 이 프레임워크는 강력한 수치 성능를 보장하는 상자 제약 및 단일 선형 상자 제약 문제로 일반화될 수 있는가?

주요 결과

• 이차 최적화를 위한 제안된 방법 (27)은 반복 횟수와 CPU 시간 측면에서 BB1, Dai-Yuan, ABB, ABBmin1, ABBmin2, SDC를 모두 뛰어나는 성능을 보였다.
• 방법 (27)과 GLL 비단조화 선형 탐색을 조합한 알고리즘 1은 CUTEst 비제약 테스트 문제에서 GBB와 ABBmin을 능가하는 성능을 보였다.
• 극단적 고유값 문제를 위한 알고리즘 2는 특히 대규모 문제에서 EigUncABB보다 뛰어난 성능을 보였다.
• 상자 제약 및 SLB 문제를 위한 알고리즘 3은 SPG, BoxVABBmin, Dai-Fletcher, EQ-VABBmin보다 더 적은 반복 횟수와 더 빠른 수렴 속도를 달성했다.
• 1000개의 예제를 가진 SVM 문제에서 알고리즘 3는 63–121회의 반복(대비: Dai-Fletcher는 78–293회)과 0.17–0.55초(대비: 0.24–0.81초)를 기록하여 일관된 우수성을 입증했다.
• 성능 프로파일 분석 결과, 알고리즘 3는 여러 데이터셋과 정밀도 수준에서 Dai-Fletcher 및 EQ-VABBmin보다 항상 뛰어난 성능을 보였다.