[논문 리뷰] Lyapunov Functions for First-Order Methods: Tight Automated Convergence Guarantees

Adrien Taylor, Bryan Van Scoy외 1명|arXiv (Cornell University)|2018. 03. 16.

Advanced Optimization Algorithms Research참고 문헌 12인용 수 12

한 줄 요약

이 논문은 선형 수렴 속도를 증명하기 위해 자동으로 날카운 감마 함수를 생성하는 정수형 프로그래밍(SDP) 기반 방법을 제시한다. 성능 평가 문제와 적분 제약 조건을 볼록 보간을 통해 결합함으로써, 주어진 제약 조건 하에서 가능한 가장 날카운 감마 함수를 확인하는 방법을 제공하며, 이때 SDP의 타당성은 그러한 함수의 존재에 대해 必要하고 충분하다.

ABSTRACT

We present a novel way of generating Lyapunov functions for proving linear convergence rates of first-order optimization methods. Our approach provably obtains the fastest linear convergence rate that can be verified by a quadratic Lyapunov function (with given states), and only relies on solving a small-sized semidefinite program. Our approach combines the advantages of performance estimation problems (PEP, due to Drori & Teboulle (2014)) and integral quadratic constraints (IQC, due to Lessard et al. (2016)), and relies on convex interpolation (due to Taylor et al. (2017c;b)).

연구 동기 및 목표

• 1차 최적화 방법의 선형 수렴 속도를 증명하는 데 사용할 수 있는 자동화된 2차 감마 함수 생성 방법을 개발하기.
• 성능 평가 문제(PEP)와 적분 제약 조건(IQC)이라는 두 가지 기존의 최악의 경우 분석 프레임워크를 통합하기.
• 생성된 감마 함수가 주어진 2차 형식으로 확인할 수 있는 가장 날카운 수렴 속도를 제공하도록 보장하기.
• 작은 크기의 정수형 프로그래밍(SDP)을 풀어 계산적으로 효율적인 접근법 제공하기.
• 해당 감마 함수의 존재에 대해 필수적이고 충분한 프레임워크 구축하기.

제안 방법

• 해당 방법은 주어진 1차 방법에 대해 정수형 프로그래밍(SDP)을 설정하여, 주어진 방법에 대해 2차 감마 함수의 존재 여부를 판단한다.
• 부드럽고 강력히 볼록인 함수의 볼록 보간을 활용하여 문제의 구조를 감마 함수 설계에 통합한다.
• PEP와 IQC의 장점을 통합하여 둘 다를 하나의 SDP 프레임워크에 통합한다.
• 감마 함수는 원소, 기울기, 함수 값의 상태 벡터에 정의되며, 각 반복에서 에너지가 기하급수적으로 감소한다.
• SDP는 감마 함수가 각 단계에서 최대 ρ²의 비율로 감소함을 확인하도록 구성되며, 여기서 ρ는 수렴 속도이다.
• 작은 크기의 SDP를 통해 구현되어 효율적인 계산과 날카운 수렴 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시스템적이고 자동화된 방법으로 2차 감마 함수를 사용하여 가능한 가장 날카운 선형 수렴 속도 증명을 생성할 수 있는가?
• RQ2 성능 평가 문제(PEP)와 적분 제약 조건(IQC)은 어떻게 하나의 프레임워크로 통합되어 1차 방법의 최악의 경우 분석을 가능하게 하는가?
• RQ3 주어진 1차 방법에 대해 2차 감마 함수의 존재를 확인할 수 있는 최소 크기의 정수형 프로그래밍은 무엇인가?
• RQ4 제안된 SDP 설정이 그러한 감마 함수의 존재에 대해 필수적이고 충분한가?
• RQ5 이 방법은 스케줄링 재시작이 있는 빠른 기울기 방법(Fast Gradient Method)에 대해 어떻게 성능을 보이는가?

주요 결과

• 제안된 SDP 설정은 2차 감마 함수의 존재에 대해 필수적이고 충분하므로, 수렴 보장의 날카움을 보장한다.
• 주어진 상태 벡터를 사용할 때, 어떤 2차 감마 함수로도 확인할 수 있는 가장 빠른 선형 수렴 속도를 달성한다.
• 스케줄링 재시작이 있는 빠른 기울기 방법(Fast Gradient Method)에 대해, 최악의 경우 기울기 평가 횟수는 O(−1/log ρ)로 계산되며, 기존 이론적 결과와 일치한다.
• 수치적 결과는 정확한 선형 탐색을 사용하는 기울기 방법이 최악의 경우 속도 (κ−1)/(κ+1)를 보임을 보여주며, 이는 이전 연구와 일치한다.
• 이 방법은 트리플 모멘타움 방법과 로버스트 모멘타움 방법을 성공적으로 분석하여, 표준 방법을 초월한 넓은 적용 가능성을 입증한다.
• 재시작 상태를 포함하는 상태 벡터의 확장을 통해, 시간에 따라 변화하는 스텝 크기를 가진 방법(예: 재시작이 있는 FGM)에 대한 자동 수렴 분석이 가능해진다.