[논문 리뷰] Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions

Dennis Gramlich, Christian Ebenbauer외 1명|arXiv (Cornell University)|2020. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 리아푸노프 함수와 준정형 프로그래밍을 사용하여 가속 경사 하강 알고리즘을 위한 볼록 합성 프레임워크를 제안한다. 이는 볼록 최적화 및 안장점 문제에 대해 최적 알고리즘 설계를 가능하게 하며, 강한 볼록 함수를 초월해 비볼록 케이스까지 일반화하여, 비보수적인 볼록 설계 조건을 갖춘 최신 기법들(예: 트리플 모멘타 메서드)과 경쟁하거나 이를 초월하는 성능을 달성한다.

ABSTRACT

This paper considers the problem of designing accelerated gradient-based algorithms for optimization and saddle-point problems. The class of objective functions is defined by a generalized sector condition. This class of functions contains strongly convex functions with Lipschitz gradients but also non-convex functions, which allows not only to address optimization problems but also saddle-point problems. The proposed design procedure relies on a suitable class of Lyapunov functions and on convex semi-definite programming. The proposed synthesis allows the design of algorithms that reach the performance of state-of-the-art accelerated gradient methods and beyond.

연구 동기 및 목표

• 볼록 최적화와 비볼록 목적 함수 모두에 적용 가능한 비보수적인 볼록 합성 절차를 개발하는 것.
• 표준 강한 볼록 함수를 초월해 제약 최적화에 유용한 안장점 탐색이 가능한 비볼록 함수까지 포함하는 알고리즘 설계를 확장하는 것.
• 분석 조건과 동일한 정도로 날카로운 설계 조건을 확보하여 이전 방법에서 흔히 발생하는 보수성(conservatism)을 피하는 것.
• 목적 함수의 구조적 특성을 알고리즘 설계에 통합하여 수렴 속도를 향상시키는 것.
• 일반화된 섹터 조건을 사용하여 최적화 및 안장점 문제의 알고리즘 설계를 통합하는 단일 프레임워크를 제공하는 것.

제안 방법

• 강한 볼록 함수와 일부 비볼록 함수를 포함하는 광범위한 목적 함수 클래스를 정의하기 위해 일반화된 섹터 조건을 사용한다.
• 알고리즘 동역학의 안정성과 수렴 조건을 유도하기 위해 일반적인 리아푸노프 함수의 클래스를 사용한다.
• 리아푸노프 조건을 선형 행렬 부등식(LMI)으로 표현하여 설계 문제를 볼록 준정형 프로그래밍(SDP)으로 공식화한다.
• 분석 LMI의 타당성과 합성 LMI의 타당성이 동치가 되도록 설계 조건을 유도함으로써 보수성을 피하는 비보수성(Non-conservativeness)을 확보한다.
• SDP 공식화를 통해 목적 함수의 구조적 특성을 알고리즘 파라미터에 통합할 수 있도록 프레임워크를 제공한다.
• 합동 변환과 스펙트럼 성질을 활용하여 일반화된 섹터 조건 하에서 안정성과 수렴 보장을 보장한다.

실험 결과

연구 질문

• RQ1 비보수적이며 볼록 및 비볼록 함수에 모두 적용 가능한 가속 경사 하강 방법을 위한 볼록 합성 프레임워크를 개발할 수 있는가?
• RQ2 리아푸노프 함수는 어떻게 사용되어 최소값이 아닌 안장점으로 수렴하는 알고리즘을 설계할 수 있는가?
• RQ3 설계 절차가 목적 함수의 구조적 특성을 얼마나 잘 통합하여 수렴 속도를 향상시킬 수 있는가?
• RQ4 설계 조건을 분석 조건과 동일한 정도로 날카롭게 만들 수 있는가? 보수성을 피할 수 있는가?
• RQ5 기존의 가속 방법들(예: 트리플 모멘타 메서드)과 비교해 본다면, 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 합성 프레임워크는 리프시츠 연속 기울기를 갖는 강한 볼록 함수에 대해 트리플 모멘타 메서드와 동일한 수렴 속도를 달성한다.
• 일반화된 섹터 조건에 비볼록 함수를 포함시킴으로써, 안장점 수렴을 위한 알고리즘 설계가 가능해진다.
• 합성 조건은 비보수적이다: 분석 LMI의 타당성과 합성 LMI의 타당성이 동치이므로 설계 과정에서 성능 손실가 없다.
• 프레임워크를 통해 목적 함수의 구조적 특성을 알고리즘 설계에 통합할 수 있어, 일반적인 방법보다 빠른 수렴 속도를 달성할 수 있다.
• 이 방법은 볼록 준정형 프로그래밍으로 공식화되어 있어 계산적으로 타당하며, 자동 알고리즘 생성에 적합하다.
• 기존의 IQC 및 강건 제어 기반 방법을 일반화하여 더 넓은 함수 클래스와 더 날카로운 설계 조건을 허용한다.