[논문 리뷰] Restarting accelerated gradient methods with a rough strong convexity estimate

Olivier Fercoq, Zheng Qu|arXiv (Cornell University)|2016. 09. 23.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 21

한 줄 요약

이 논문은 강凸성 매개수의 추정이 불완전한 경우에도 임의의 재시작 주기로 기하학적(선형) 수렴을 달성하는 가속 경사하강법 및 좌표하강법에 대한 새로운 재시작 전략을 제안한다. 이 방법은 과거 반복값의 볼록 조합을 이용해 재시작 지점을 정의하여, 진정한 강凸성 계수의 정확한 지식 없이도 증명 가능한 수렴성을 확보한다.

ABSTRACT

We propose new restarting strategies for accelerated gradient and accelerated coordinate descent methods. Our main contribution is to show that the restarted method has a geometric rate of convergence for any restarting frequency, and so it allows us to take profit of restarting even when we do not know the strong convexity coefficient. The scheme can be combined with adaptive restarting, leading to the first provable convergence for adaptive restarting schemes with accelerated gradient methods. Finally, we illustrate the properties of the algorithm on a regularized logistic regression problem and on a Lasso problem.

연구 동기 및 목표

• 가속 경사하강법에서 강凸성 매개수의 추정이 부정확할 경우 발생하는 열악한 수렴 문제를 해결하기 위해.
• 재시작 주기나 강凸성 매개수 추정의 정확도에 관계없이 선형 수렴을 보장하는 재시작 체계를 개발하기 위해.
• APPROX와 같은 가속 좌표하강법에 대해 이론적 보장을 제공하는 방법으로 확장하기 위해.
• 강凸성 매개수의 정밀한 지식이 필요 없이도 증명 가능한 수렴성을 보장하는 적응형 재시작 프레임워크를 설계하기 위해.

제안 방법

• 기존의 경사 또는 목적함수 값 평가에 의존하지 않고, 이전 반복값의 볼록 조합으로 정의된 새로운 재시작 지점을 도입한다.
• 강凸성 계수의 rough한 추정치를 기반으로 한 매개수화된 재시작 규칙을 사용하며, 이 추정치는 진정한 값보다 클 수도, 작을 수도 있다.
• 최적성 갭과 추정된 강凸성 간의 재귀 부등식을 이용해 리아푸노프 함수를 통해 수렴 한계를 유도한다.
• 가속 경사하강법(APG, FISTA)과 가속 좌표하강법(APPROX) 양쪽에 이 전략을 적용한다.
• 추정된 강凸성에 따라 수렴 속도가 결정되며, 추정치가 최적값이 아니더라도 여전히 효과적인 수렴을 보임을 입증한다.
• 추정치가 진정한 값과 넓은 범위 내에 있을 경우 수렴 속도가 크게 향상됨을 실험적으로 확인하여 실용적인 재시작 히وري스틱의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 강凸성 매개수의 추정이 불완전한 경우에도 가속 경사하강법이 임의의 재시작 주기로 선형 수렴을 달성할 수 있는가?
• RQ2 과거 반복값의 볼록 조합에 기반한 재시작 조건이 경사 또는 목적함수 기반 조건보다 우월한가?
• RQ3 제안된 재시작 체계는 APPOX와 같은 가속 좌표하강법에 이론적 수렴 보장과 함께 확장 가능한가?
• RQ4 강凸성 매개수의 정밀한 지식 없이도 증명 가능한 수렴성을 보장하는 적응형 재시작 체계를 설계할 수 있는가?

주요 결과

• 제안된 재시작 방법은 강凸성 매개수의 추정치가 rough하더라도 임의의 재시작 주기로 기하학적(선형) 수렴을 달성한다.
• 수렴 속도는 추정된 강凸성에 의존하며, 추정치가 진정한 값보다 클 경우에도 여전히 효과적이다.
• 비가속화된 방법보다 우수하며, 강凸성 매개수가 정확히 알려진 경우 표준 가속화 방법과 동등하거나 이를 초월하는 성능을 보인다.
• 라소와 정규화된 로지스틱 회귀에 대한 수치 실험 결과, 정밀한 매개수 조정 없이도 실용적으로 견고하고 효과적인 성능을 보였다.
• 이론적 분석을 통해 수렴 속도가 추정된 강凸성과 진정한 강凸성의 비율에 따라 결정되는 상한선을 확보하였으며, 비가속화 방법보다 증명 가능한 향상이 있음을 입증하였다.
• 이 방법은 가속 경사하강법에서 적응형 재시작 체계에 대해 처음으로 증명 가능한 수렴성을 확보하여, 이론적 격차를 해소하였다.