[논문 리뷰] Katalyst: Boosting Convex Katayusha for Non-Convex Problems with a Large Condition Number

Zaiyi Chen, Yi Xu외 2명|arXiv (Cornell University)|2018. 09. 18.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 조건 수가 큰 비볼록 유한합 문제를 위한 새로운 SVRG 유형의 가속 확률적 알고리즘인 Katalyst를 소개한다. 적응형 모멘타와 분산 감소를 통해 Katyusha 방법을 개선함으로써, Katalyst는 약한 볼록성 매개변수 μ에 의존하는 최적의 기울기 복잡도를 달성하며, 최고의 알려진 SAGA 유형 방법과 동일한 성능을 보이지만 메모리 사용량이 낮다.

ABSTRACT

In this paper, we propose a new SVRG-style acceleated stochastic algorithm for solving a family of non-convex optimization problems whose objective consists of a sum of $n$ smooth functions and a non-smooth convex function. Our major goal is to improve the convergence of SVRG-style stochastic algorithms to stationary points under a setting with a large condition number $c$ - the ratio between the smoothness constant and the negative curvature constant. The proposed algorithm achieves the best known gradient complexity when $c\geq Ω(n)$, which was achieved previously by a SAGA-style accelerated stochastic algorithm. Compared with the SAGA-style accelerated stochastic algorithm, the proposed algorithm is more practical due to its low memory cost that is inherited from previous SVRG-style algorithms. Compared with previous studies on SVRG-style stochastic algorithms, our theory provides much stronger results in terms of (i) reduced gradient complexity under a large condition number; and (ii) that the convergence is proved for a sampled stagewise averaged solution that is selected from all stagewise averaged solutions with increasing sampling probabilities instead of for a uniformly sampled solutions across all iterations.

연구 동기 및 목표

• 기존의 SVRG 유형 방법이 악한 수렴 성능를 보이는 조건 수가 큰 비볼록 문제(L/μ)에 대한 분산 감소 방법의 격차를 메운다.
• 각 성분 함수가 μ-약한 볼록성과 L-스무스한 비볼록 유한합 문제에 대해 SVRG 유형 알고리즘의 기울기 복잡도를 향상시킨다.
• SAGA 유형의 가속 알고리즘과 동등한 복잡도를 달성하면서도 SVRG의 낮은 메모리 사용량의 장점을 유지한다.
• 비볼록성 정도(μ를 통해)에 적응할 수 있는 방법을 개발하여, 볼록에 가까운 문제(작은 μ)에서 더 빠른 수렴을 달성한다.
• proxSVRG와 4WD-Catalyst에 비해 뛰어난 성능을 보임을 보여주는 이론적 보장과 실증적 검증을 제공한다. 특히 μ가 작은 영역에서 두각을 나타낸다.

제안 방법

• 원래 볼록 문제 전용이었던 Katyusha 알고리즘을 적응형 스텝 사이즈를 사용한 모멘타 기반 업데이트를 통해 비볼록 환경에 적응시킨다.
• 단일 전체 기울기 추정치를 유지하고 제어 변수 전략을 사용한 확률적 기울기들을 활용하는 새로운 분산 감소 메커니즘을 도입한다.
• 비볼록 문제를 개선된 조건 수를 가진 서브문제의 시퀀스로 변환하기 위해 Catalyst 프레임워크를 적용하며, 비미분 가능 항목에 대해 프록시 연산자를 활용한다.
• 수렴성과 분산 감소를 균형 잡기 위해 신중히 선택된 내부 루프 길이를 가진 재시작 전략을 적용하여 비볼록 경관에서의 안정성을 확보한다.
• L/μ ≥ Ω(n)일 때, ε-정류점(ε-stationary point)을 찾는 데 대해 Õ(√(nLμ)/ε²)의 기울기 복잡도 상한을 도출한다. 이는 이전의 SVRG 유형 방법보다 향상된 성능이다.
• 비미분 가능 볼록 정규화 항 ψ(x)를 효율적으로 처리하기 위해 프록시 연산자를 통합한다.

실험 결과

연구 질문

• RQ1 조건 수가 큰 비볼록 문제(L/μ)에 대해 SVRG 유형 방법의 기울기 복잡도를 향상시킬 수 있는가?
• RQ2 복잡도 상한에 약한 볼록성(μ)을 통합함으로써, 볼록에 가까운 문제에서 더 빠른 수렴이 이루어지는가?
• RQ3 Katyusha 기반의 부스팅 프레임워크가 SAGA 유형의 가속 방법과 동등한 복잡도를 달성하면서도 낮은 메모리 사용량을 유지할 수 있는가?
• RQ4 μ가 작을 때 실제 성능에서 Katalyst는 proxSVRG와 4WD-Catalyst에 비해 어떻게 성능을 냅니다?
• RQ5 이론적 복잡도 상한은 타당하고 실세계 비볼록 기계학습 문제에서 실제로 효과적인가?

주요 결과

• L/μ ≥ Ω(n)일 때, Katalyst는 ε-정류점(ε-stationary point)을 찾는 데 대해 Õ(√(nLμ)/ε²)의 기울기 복잡도를 달성하며, 이는 모든 SVRG 유형 방법 중에서 가장 우수한 것으로 알려져 있다.
• 최근의 SAGA 유형 가속 알고리즘인 RapGrad와 동일한 복잡도를 달성하지만, SVRG의 단일 기울기 저장 방식 덕분에 훨씬 낮은 메모리 비용을 기록한다.
• 작은 μ(즉, 볼록에 가까운 문제)에서 Katalyst는 수치 실험을 통해 proxSVRG와 4WD-Catalyst에 비해 상당한 속도 향상을 보였다.
• rcv1 및 real-sim 데이터셋에 대한 실증 결과는 λ가 작을 때(작은 μ로 이어짐) Katalyst가 proxSVRG와 4WD-Catalyst보다 더 빠르게 수렴하는 것으로 나타났다.
• 조건 수가 클 경우에도 안정성과 효율성을 유지하여 고대비 비볼록 환경에서의 강건성을 입증했다.
• 이론적 분석은 복잡도 상한이 날카롭고 μ에 따라 적응 가능하며, 비볼록성 정도가 수렴 속도에 직접적인 영향을 미친다는 것을 확인했다.