[논문 리뷰] A unified variance-reduced accelerated gradient method for convex optimization

Guanghui Lan, Zhize Li외 1명|arXiv (Cornell University)|2019. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 16

한 줄 요약

이 논문은 조건수와 통합 프레임워크에 기반해 단계 크기를 동적으로 조정함으로써 부드럽고 볼록인 문제와 강하게 볼록인 문제 모두에서 최적 수렴 속도를 달성하는 새로운 분산 감소 가속 경사 하강법인 Varag를 소개한다. 오차 한계 조건을 만족하는 문제에 대해서는 강한 볼록성이 정규화 요소에 없더라도 최적 선형 수렴을 달성하며, 스ტ로스틱 유한합 설정으로도 확장되어 최적의 복잡도 한계를 유지한다.

ABSTRACT

We propose a novel randomized incremental gradient algorithm, namely, VAriance-Reduced Accelerated Gradient (Varag), for finite-sum optimization. Equipped with a unified step-size policy that adjusts itself to the value of the condition number, Varag exhibits the unified optimal rates of convergence for solving smooth convex finite-sum problems directly regardless of their strong convexity. Moreover, Varag is the first accelerated randomized incremental gradient method that benefits from the strong convexity of the data-fidelity term to achieve the optimal linear convergence. It also establishes an optimal linear rate of convergence for solving a wide class of problems only satisfying a certain error bound condition rather than strong convexity. Varag can also be extended to solve stochastic finite-sum problems.

연구 동기 및 목표

• 부드럽고 볼록인 문제와 강하게 볼록인 문제 모두에서 최적 수렴 속도를 달성하는 통합 1차 방법을 개발하는 것.
• 이전 가속 방법들이 정규화 요소에 강한 볼록성이 필요로 하는 한계를 극복하여, 데이터 적합성 항에 강한 볼록성이 존재할 경우의 이점을 활용하는 것.
• 강한 볼록성이 아닌 오차 한계 조건을 만족하는 광범위한 문제 클래스에 대해 최적 선형 수렴을 확립하는 것.
• 분산 환경에서 최적의 샘플링 및 통신 복잡도를 유지하면서 스트로스틱 유한합 문제로의 확장을 이루는 것.

제안 방법

• Varag는 조건수에 적응하는 통합 단계 크기 정책을 사용하여 다양한 문제 유형에서 최적 수렴을 달성한다.
• 제어 변수와 모멘텀 유사 가속을 조합한 새로운 분산 감소 경사 추정기를 사용한다.
• 알고리즘은 에포크 단위로 작동하며, 내부 반복에서는 프록시멀 경사 하강 단계와 점차 분산을 줄이는 스트로스틱 경사 추정기를 사용한다.
• 문제 매개변수와 원하는 정확도에 따라 에포크당 배치 크기와 반복 횟수를 동적으로 조정한다.
• 성분 함수의 노이즈 있는 경사 정보에 접근하여 스트로스틱 유한합 문제로의 확장을 이루며, 최적의 복잡도를 유지한다.
• 이론적 분석은 리아푸노프 함수와 재귀 오차 한계를 사용하여 다양한 조건 하에서 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 한 가지 분산 감소 가속 방법이 부드럽고 볼록인 문제와 강하게 볼록인 문제 모두에서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 정규화 요소가 강하게 볼록하지 않더라도 데이터 적합성 항에 강한 볼록성이 존재할 경우, 이러한 방법이 그 이점을 누릴 수 있는가?
• RQ3 강한 볼록성이 아닌 오차 한계 조건을 만족하는 조건에서, 유한합 문제를 해결하기 위한 최적의 샘플링 및 통신 복잡도는 무엇인가?
• RQ4 최적 수렴 속도를 유지하면서 이러한 방법을 스트로스틱 유한합 문제로 확장할 수 있는가?
• RQ5 다양한 문제 유형에서 수렴을 통합하는 데 최적의 단계 크기 정책는 무엇인가?

주요 결과

• Varag는 부드럽고 강하게 볼록인 유한합 문제에 대해 최적의 복잡도 O((m + L/μ)log(1/ε))를 달성하며, 이는 하한값과 일치한다.
• 정규화 요소에 강한 볼록성이 없더라도 오차 한계 조건을 만족하는 문제에 대해 최적 선형 수렴을 확립한다.
• 부드럽고 볼록인 문제의 경우, Varag는 분산 환경에서 O(mCσ²/(Lε))의 샘플링 복잡도와 O(m log(1/ε))의 통신 복잡도를 달성한다.
• 스트로스틱 유한합 문제에서는 O(Cσ²D₀/(Lε²))의 샘플링 복잡도와 O(m log m + √(mD₀/ε))의 통신 복잡도를 유지한다.
• 수치 실험 결과 Varag는 Prox-SVRG를 능가하고, 기록 손실 측정에서 Katyusha와 유사한 성능을 보였으며, 더 적은 프록시멀 매핑 수로 인해 에포크당 CPU 비용이 낮았다.
• 이 방법은 데이터 적합성 항에 강한 볼록성을 가지는 첫 번째 가속 RIG 방법으로, 릿지 회귀와 같은 실질적인 머신러닝 문제에서 더 빠른 수렴을 가능하게 한다.