[논문 리뷰] Accelerated Methods for $\alpha$-Weakly-Quasi-Convex Problems

Sergey Guminov, Alexander Gasnikov|arXiv (Cornell University)|2017. 10. 02.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 $α$-약한-편의-볼록 최적화를 위한 가속된 일阶 방법을 제안하며, 이전까지 알려진 조건보다 더 약한 조건 하에서 순차적 부분공간 최적화(SESOP) 방법과 네미로프스키의 켤레 기울기 방법이 최적 수렴 속도를 달성함을 보여준다. 주요 기여는 부드러움 또는 강한 볼록성 파라미터를 알지 못해도 이러한 방법의 최적 반복 복잡도를 증명하는 데 있다.

ABSTRACT

We provide a quick overview of the class of $\\alpha$-weakly-quasi-convex problems and its relationships with other problem classes. We show that the previously known Sequential Subspace Optimization method retains its optimal convergence rate when applied to minimization problems with smooth $\\alpha$-weakly-quasi-convex objectives. We also show that Nemirovski's conjugate gradients method of strongly convex minimization achieves its optimal convergence rate under weaker conditions of $\\alpha$-weak-quasi-convexity and quad\\-ratic growth. Previously known results only capture the special case of 1-weak-quasi-convexity or give convergence rates with worse dependence on the parameter $\\alpha$.

연구 동기 및 목표

• 가속된 일阶 방법을 개발하여 $α$-약한-편의-볼록 문제에 대해 최적 수렴 속도를 달성한다.
• 기존의 최적 방법—SESOP와 켤레 기울기—의 적용 가능 범위를 강한 볼록성 또는 볼록성 설정을 초월해 확장한다.
• 이 방법들이 리프시츠 상수나 강한 볼록성 파라미터와 같은 입력 파라미터를 요구하지 않고도 수렴함을 보여준다.
• 기존 알려진 하한과의 비교를 통해 수렴 한계의 이론적 날카움을 확립한다.
• 통신 효율적인 부분문제 해결을 통해 분산 및 고차원 설정에서의 실용적 이점을 탐색한다.

제안 방법

• SESOP 방법은 탐색 방향으로 정의된 2차원 또는 3차원 부분공간에서 선형 탐색 유사 단계를 수행하며, 각 반복에서 보조 부분문제를 정확히 해결한다.
• 이 방법은 $α$-약한-편의-볼록성과 이차 성장 조건을 활용하여 최적 반복 복잡도를 확보하는 전역 수렴을 보장한다.
• 네미로프스키의 켤레 기울기 방법은 리프시츠 연속 기울기를 갖는 $α$-약한-편의-볼록 함수와 이차 성장 조건에 대해 일반화된다.
• 수렴 분석은 저차원 부분문제의 정확한 해를 기반으로 하며, 기울기 오ракulum 호출 수에 있어 이론적 최적성을 보장한다.
• 문제를 재구성하여 각 반복에서 저차원 이중 부분문제를 해결함으로써 분산 최적화에 적응시킨다.
• 수치 실험에서는 SESOP를 네스테로프의 가속 기울기 하강법과 리스타트가 있는 켤레 기울기와 비교하여, 부분문제 평가가 주 문제 기울기 평가보다 상당히 빠를 경우 더 빠른 수렴을 보임을 보였다.

실험 결과

연구 질문

• RQ1 가속된 일阶 방법이 $α$-약한-편의-볼록 문제에 대해 최적 수렴 속도를 달성할 수 있는가?
• RQ2 SESOP 방법이 부드러움 또는 강한 볼록성 파라미터를 요구하지 않고도 최적 수렴을 유지하는가?
• RQ3 네미로프스키의 켤레 기울기 방법을 이차 성장 조건이 있는 $α$-약한-편의-볼록 함수로 확장할 수 있는가?
• RQ4 SESOP의 반복 복잡도는 이 클래스 문제에 대해 알려진 하한과 어떻게 비교되는가?
• RQ5 SESOP는 고차원 또는 분산 설정에서 실용적 이점이 있는가?

주요 결과

• SESOP 방법은 기울기의 리프시츠 상수를 알지 못해도 $α$-약한-편의-볼록 함수에 대해 최적 수렴 속도를 달성한다.
• 네미로프스키의 켤레 기울기 방법의 수렴 속도는 $α$-약한-편의-볼록성과 이차 성장 조건 하에서 최적이며, 이는 강한 볼록성 외부로의 적용 가능 범위를 확장한다.
• SESOP의 이론적 복잡도 한계는 [7]에서 알려진 worst-case 하한과 일치하여, 수치 상수를 제외하고 최적성임을 확인한다.
• 수치 실험 결과, 부분문제 평가가 주 문제 기울기 평가보다 상당히 빠를 경우 SESOP가 네스테로프의 가속 기울기 하강법과 리스타트가 있는 켤레 기울기보다 빠른 수렴을 보였다.
• 분산 설정에서 각 SESOP 반복은 한 번의 통신 라운드 후 저차원 이중 부분문제를 해결함으로써 통신 복잡도를 감소시킨다.
• 이 방법은 강한 볼록성 파라미터에 대해 적응 가능하며, 표준 가속 방법과 달리 이 값의 입력이 필요로 하지 않다.