[논문 리뷰] Finite Step Performance of First-order Methods Using Interpolation Conditions Without Function Evaluations

Bruce Lee, Peter Seiler|arXiv (Cornell University)|2020. 05. 04.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 강凸 함수에 대해 강력한 볼록성과 리프시츠 연속 기울기를 갖는 1차 최적화 알고리즘의 유한 단계 worst-case 성능 한계를 계산하기 위한 새로운 방법을 제시한다. 이 방법은 기울기 평가와 보간 조건만을 사용하며, 이중 초지배 행렬을 활용하여 제약 조건 수를 계승에서 O(N²)로 감소시켜, 함수 평가 제약 없이 효율적인 수치 계산을 가능하게 하고 worst-case 성능에 도달하는 예시 함수를 구성한다.

ABSTRACT

We present a procedure to numerically compute finite step worst case performance guarantees on a given algorithm for the unconstrained optimization of strongly convex functions with Lipschitz continuous gradients. The solution method provided serves as an alternative approach to that derived by Taylor, Hendrickx, and Glineur in [Math. Prog. 161 (1-2), 2017]. The difference lies in the fact that our solution uses conditions for the interpolation of a set of points and gradient evaluations by the gradient of a function in the class of interest, whereas their solution uses conditions for the interpolation of a set of points, gradient evaluations, and function evaluations by a function in the class of interest. The motivation for this alternative solution is that, in many cases, neither the algorithm nor the performance metric of interest rely upon function evaluations. The primary development is a procedure to avoid suffering from the factorial growth in the number of these conditions with the size of the set to be interpolated when solving for the worst case performance.

연구 동기 및 목표

• 1차 최적화 알고리즘의 유한 단계 worst-case 성능 한계를 수치적으로 효율적으로 계산하는 방법을 개발하기 위해.
• 기울기 정보만을 사용하는 알고리즘에 대해 보간 기반 성능 분석에서 함수 평가가 불필요한 문제를 제거하기 위해.
• 이전 방법에서의 보간 제약 조건의 계승적 증가 문제를 해결하기 위해.
• 계산된 worst-case 성능에 도달하는 명시적 함수를 구성할 수 있는 프레임워크를 제공하기 위해.
• 공통된 보간 구조를 통해 유한 단계와 점근적 성능 한계 사이의 관계를 설정하기 위해.

제안 방법

• 강력한 볼록성과 리프시츠 연속 기울기를 갖는 함수로부터 생성된 점과 기울기 쌍 집합에 대해 필요한 보간 조건을 사용한다.
• 이러한 보간 조건에서 유도된 제약 조건을 갖는 볼록 최적화 문제로 성능 한계 계산을 공식화한다.
• 이중 초지배 행렬을 이용한 보간 조건의 코네릭 조합을 통해 제약 조건 수를 계승에서 O(N²)로 감소시킨다.
• 함수 평가를 완전히 회피하여 기울기 정보에 의존하는 알고리즘에 적합하다.
• 시스템의 동적 거동과 시간에 따른 성능 변화를 모델링하기 위해 상태공간 표현을 구성한다.
• 시스템 행렬과 여유 행렬 H를 포함하는 행렬 부등식을 갖는 정수형 프로그램을 통해 worst-case 성능을 최소화하는 스칼라 ρ를 계산한다.

실험 결과

연구 질문

• RQ1 보간 조건에서 함수 평가를 고려하지 않고도 유한 단계 worst-case 성능 한계를 효율적으로 계산할 수 있는가?
• RQ2 정확한 성능 한계를 유지하면서도 보간 제약 조건의 계승적 증가 문제를 어떻게 완화할 수 있는가?
• RQ3 계산된 worst-case 성능에 도달하는 문제 클래스 내의 명시적 함수를 구성하는 것이 가능한가?
• RQ4 1차 방법에서 유한 단계와 점근적 수렴 속도 사이의 관계는 무엇인가?
• RQ5 제안된 방법을 포화성과 같은 비선형성을 갖는 피드백 시스템 분석으로 확장할 수 있는가?

주요 결과

• 제안된 방법은 함수 평가 없이 기울기 평가만을 사용하여 유한 단계 worst-case 성능 한계를 계산한다. 이로 인해 불필요한 함수 평가 제약 조건을 피할 수 있다.
• 보간 제약 조건의 수가 O(N²)로 제곱적으로 증가하여 이전 방법에서 제한되었던 계승적 증가 문제를 해결한다.
• 이 방법은 정확한 worst-case 성능 한계를 계산하고, 이러한 성능에 도달하는 예시 함수를 구성할 수 있다.
• 수치 결과는 유한 단계 성능 감쇠 속도가 점근적 수렴 속도와 매우 유사함을 보여주며, tightness를 시사한다.
• 동일한 문제 인스턴스에 대해 기존 문헌의 보다 더 날카운 성능 한계를 이 프레임워크에서 유도한 점근적 성능 한계는 더 날카롭다.