[논문 리뷰] Worst-case convergence analysis of gradient and Newton methods through semidefinite programming performance estimation

Etienne de Klerk, François Glineur외 1명|arXiv (Cornell University)|2017. 09. 15.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 미끄러운 강력 볼록 함수 및 자가-동조 함수에 대해 경사법과 뉴턴법의 최악의 수렴을 분석하기 위한 정준형 프로그래밍 기반 성능 평가 프레임워크를 제안한다. 이 프레임워크는 비정확한 탐색 방향을 포함한다. 주요 기여는 이 접근법을 통해 단계별 내부점 방법의 엄밀한 복잡도 분석을 수행함으로써 최근 Abernethy와 Hazan (2016)의 알고리즘에 대한 새로운 최악의 수렴 경계를 도출한 것이다.

ABSTRACT

We provide new tools for worst-case performance analysis of the gradient (or steepest descent) method of Cauchy for smooth strongly convex functions, and Newton's method for self-concordant functions, including the case of inexact search directions. The analysis uses semidefinite programming performance estimation, as pioneered by Drori and Teboulle [Mathematical Programming, 145(1-2):451-482, 2014], and extends recent performance estimation results for the method of Cauchy by the authors [Optimization Letters, 11(7), 1185-1199, 2017]. To illustrate the applicability of the tools, we demonstrate a novel complexity analysis of short step interior point methods using inexact search directions. As an example in this framework, we sketch how to give a rigorous worst-case complexity analysis of a recent interior point method by Abernethy and Hazan [PMLR, 48:2520-2528, 2016].

연구 동기 및 목표

• 1차 및 2차 방법의 최악의 수렴을 분석하기 위한 정준형 프로그래밍 기반 성능 평가 프레임워크를 개발하는 것.
• 기존 성능 평가 결과를 경사법과 뉴턴법의 비정확한 탐색 방향을 포함하도록 확장하는 것.
• 이 프레임워크를 사용하여 단계별 내부점 방법의 엄밀한 최악의 복잡도 분석을 가능하게 하는 것.
• Abernethy와 Hazan (2016)의 최근 내부점 방법을 분석함으로써 프레임워크의 적용 가능성을 입증하는 것.
• 부드럽고 강력 볼록적이며 자가-동조 함수 조건 하에서 최악의 상황에서도 수렴 속도를 경계하는 체계적인 도구를 제공하는 것.

제안 방법

• 논문은 최적화 알고리즘의 최악의 수렴 속도를 경계하는 성능 평가 문제를 정준형 프로그래밍(SDP)을 활용하여 수립한다.
• 목적 함수의 이차 모델과 알고리즘 반복값을 기반으로 경사법과 뉴턴법의 최악의 행동을 최적화 문제로 모델링한다.
• 부드럽고 강력 볼록 함수 및 자가-동조 함수의 성질을 나타내는 제약 조건을 포함하며, 곡률과 리프시츠 조건을 포함한다.
• 비정확한 탐색 방향은 특정 오차 경계를 만족하는 탐색 방향의 편향을 도입하여 모델링한다.
• 성능 평가 문제는 유한한 반복 횟수 내에서 수렴 속도의 날카운 상한을 확보하기 위해 SDP를 통해 해결된다.
• 이 접근법은 Drori와 Teboulle (2014)의 이전 작업을 일반화하며, 비정확한 방법과 새로운 함수 클래스로 확장된다.

실험 결과

연구 질문

• RQ1 부드럽고 강력 볼록 함수에 대해 비정확한 선 탐색을 사용할 경우 경사법이 달성할 수 있는 최악의 수렴 속도는 무엇인가?
• RQ2 정준형 프로그래밍 기반 성능 평가 프레임워크는 자가-동조 함수에 대해 비정확한 방향을 갖는 뉴턴법의 수렴을 어떻게 경계하는가?
• RQ3 정준형 프로그래밍 기반 성능 평가 접근법은 비정확한 탐색 방향을 갖는 단계별 내부점 방법의 복잡도 경계를 유도하는 데 사용될 수 있는가?
• RQ4 Abernethy와 Hazan (2016)이 제안한 내부점 방법의 최악의 복잡도는 이 프레임워크를 통해 어떻게 분석되는가?
• RQ5 유도된 경계는 이러한 방법에 대해 알려진 이론적 및 실험적 수렴 속도와 어떻게 비교되는가?

주요 결과

• 정준형 프로그래밍 기반 성능 평가 프레임워크는 부드럽고 강력 볼록 함수 및 자가-동조 함수에 대해 경사법과 뉴턴법의 날카운 최악의 수렴 경계를 제공한다.
• 이 프레임워크는 비정확한 탐색 방향이 수렴에 미치는 영향을 성공적으로 포착하여 이러한 조건 하에서의 복잡도 분석을 가능하게 한다.
• 비정확한 방향을 사용하는 단계별 내부점 방법에 대한 새로운 최악의 복잡도 분석이 도출되었으며, 성능 평가의 적용 범위를 실용적인 내부점 변형으로 확장한다.
• 이 방법은 Abernethy와 Hazan (2016)의 최근 내부점 방법에 대해 엄밀한 복잡도 경계를 도출할 수 있으며, 공식적 분석을 통해 최악의 성능를 검증한다.
• 정준형 프로그래밍을 통한 성능 평가 문제의 구조를 활용함으로써 이전 방법보다 더 날카운 수렴 속도 추정을 달성한다.