[논문 리뷰] Katyusha Acceleration for Convex Finite-Sum Compositional Optimization

Yibo Xu, Yangyang Xu|arXiv (Cornell University)|2019. 10. 24.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 유한합 조합 최적화 문제(COPs)에 대해 카티우샤 가속 알고리즘을 도입하여, 미니배치 샘플링과 분산 감소 기법을 활용해 향상된 수렴 속도를 달성한다. 강凸인 COPs의 경우 복잡도가 $\kappa^{2.5}$에 의존하는 선형 수렴을 확립하였으며, 이는 이전 최고 성능인 $\kappa^3$보다 향상된 것이다. 또한, 일반 COPs의 경우 $\varepsilon^{-2.5}$의 복잡도를 달성하여 이전의 $\varepsilon^{-3}$보다 향상되었다.

ABSTRACT

Structured problems arise in many applications. To solve these problems, it is important to leverage the structure information. This paper focuses on convex problems with a finite-sum compositional structure. Finite-sum problems appear as the sample average approximation of a stochastic optimization problem and also arise in machine learning with a huge amount of training data. One popularly used numerical approach for finite-sum problems is the stochastic gradient method (SGM). However, the additional compositional structure prohibits easy access to unbiased stochastic approximation of the gradient, so directly applying the SGM to a finite-sum compositional optimization problem (COP) is often inefficient. We design new algorithms for solving strongly-convex and also convex two-level finite-sum COPs. Our design incorporates the Katyusha acceleration technique and adopts the mini-batch sampling from both outer-level and inner-level finite-sum. We first analyze the algorithm for strongly-convex finite-sum COPs. Similar to a few existing works, we obtain linear convergence rate in terms of the expected objective error, and from the convergence rate result, we then establish complexity results of the algorithm to produce an $\varepsilon$-solution. Our complexity results have the same dependence on the number of component functions as existing works. However, due to the use of Katyusha acceleration, our results have better dependence on the condition number $κ$ and improve to $κ^{2.5}$ from the best-known $κ^3$. Finally, we analyze the algorithm for convex finite-sum COPs, which uses as a subroutine the algorithm for strongly-convex finite-sum COPs. Again, we obtain better complexity results than existing works in terms of the dependence on $\varepsilon$, improving to $\varepsilon^{-2.5}$ from the best-known $\varepsilon^{-3}$.

연구 동기 및 목표

• 두 수준의 유한합 구조를 가진 유한합 조합 최적화 문제(COPs)에 대해 효율적인 일阶 알고리즘을 설계하기.
• 유한합 및 조합 구조를 활용하여 표준 확률적 경사 하강법을 초월한 수렴 속도 향상.
• 기존 방법보다 조건 수 $\kappa$와 정확도 $\varepsilon$에 대한 더 나은 의존성 확보.
• 원래 비조합 최적화 문제를 위한 카티우샤 가속을 유한합 조합 설정으로 확장하기.
• 강凸 및 일반 경우에 대해 경사 및 야코비안 평가 횟수 기반의 복잡도 한계 설정하기.

제안 방법

• 외부 및 내부 수준에서 모두 미니배치 샘플링을 활용한 카티우샤 가속을 적용한 강凸 COPs를 위한 새로운 알고리즘 제안.
• 두 수준의 유한합 구조에 맞춘 분산 감소 기법을 도입하여 수렴의 안정성과 가속도 향상.
• 카티우샤에서 영감을 얻은 새로운 모멘텀 기반 업데이트 규칙 도입 — 외삽과 순환적 경사 추적의 조합.
• 일반 COPs의 경우, 적응형 단계 크기를 갖는 강凸 알고리즘을 서브루틴으로 사용하여 향상된 수렴 달성.
• 분산 감소 및 계산 효율 향상을 위해 $F_i$ 및 $G_j$ 구성요소 모두에 대해 미니배치 샘플링 적용.
• glat smoothness 및 강凸성에 대한 표준 가정 하에 기대 목적 함수 오차 감소 분석을 통해 이론적 복잡도 한계 유도.

실험 결과

연구 질문

• RQ1 두 수준의 구조를 가진 유한합 조합 최적화 문제에 대해 카티우샤 가속이 효과적으로 적용될 수 있는가?
• RQ2 강凸 COPs의 경우 알고리즘의 복잡도가 조건 수 $\kappa$에 대해 최적의 의존성을 가지는가?
• RQ3 기존 방법의 $\varepsilon^{-3}$ 경계를 초월해 일반 COPs의 수렴 속도를 향상시킬 수 있는가?
• RQ4 두 수준에서의 미니배치 샘플링이 알고리즘의 수렴 및 복잡도에 어떤 영향을 미치는가?
• RQ5 에프실론 해를 달성하기 위한 경사 및 야코비안 평가 횟수 기반의 이론적 복잡도는 무엇인가?

주요 결과

• 강凸 유한합 COPs의 경우, 복잡도가 $\kappa^{2.5}$에 의존하는 선형 수렴을 달성하였으며, 이는 기존 최고 성능인 $\kappa^3$보다 향상된 것이다.
• 일반 COPs의 수렴 속도는 $\varepsilon^{-2.5}$이며, 이는 이전 최고 성능인 $\varepsilon^{-3}$보다 향상된 것이다.
• 기존 방법과 마찬가지로 구성 함수의 수 $n_1, n_2$에 대해 동일한 의존성을 유지하면서도, $\kappa$ 및 $\varepsilon$에 대한 성능 향상을 달성하였다.
• 수치 결과는 다양한 시험 및 파rameter 설정에서 VRSC-PG, C-SAGA, GC-SAGA, SCVRG와 비교해 안정적이고 뛰어난 성능을 보였다.
• 유한합 구조를 유지하면서도, 미니배치 샘플링과 카티우샤 스타일 모멘텀을 활용해 복잡도 향상을 달성하였다.
• 이론적 분석을 통해 향상된 복잡도가 조합 설정에서 효과적인 분산 감소와 모멘텀 가속에 기인한다는 것이 확인되었다.