[논문 리뷰] ASVRG: Accelerated Proximal SVRG

Fanhua Shang, Licheng Jiao외 4명|arXiv (Cornell University)|2018. 10. 07.

Stochastic Gradient Optimization Techniques인용 수 21

한 줄 요약

이 논문은 단 하나의 추가 변수와 하나의 모멘타 파라미터만을 사용하는 간단한 모멘타 가속 기법을 도입하여, 강凸 및 비강凸 문제에 대해 기존의 최고 성능을 기록한 오ракูล 복잡도를 달성하면서도 반복당 비용을 낮춘 가속화된 프록시멀 스토하스틱 바이어언스 감소 기반 경사하강법인 ASVRG를 제안한다. 실험적 평가에서 최신 기술 수준을 능가하거나 이를 충족하는 성능을 보였다.

ABSTRACT

This paper proposes an accelerated proximal stochastic variance reduced gradient (ASVRG) method, in which we design a simple and effective momentum acceleration trick. Unlike most existing accelerated stochastic variance reduction methods such as Katyusha, ASVRG has only one additional variable and one momentum parameter. Thus, ASVRG is much simpler than those methods, and has much lower per-iteration complexity. We prove that ASVRG achieves the best known oracle complexities for both strongly convex and non-strongly convex objectives. In addition, we extend ASVRG to mini-batch and non-smooth settings. We also empirically verify our theoretical results and show that the performance of ASVRG is comparable with, and sometimes even better than that of the state-of-the-art stochastic methods.

연구 동기 및 목표

• 복합 비강凸 최적화를 위한 가속화된 스토하스틱 바이어언스 감소 방법의 더 단순하고 효율적인 변종을 개발하는 것.
• Katyusha와 같은 기존 방법들에 비해 보조 변수와 모멘타 파라미터의 수를 줄여 반복당 계산 비용을 낮추는 것.
• 비강凸 및 강凸 문제 모두에 대해 유한합 최소화 문제에서 비미분 정규화를 고려할 때 최적의 오라클 복잡도를 달성하는 것.
• 메모리나 비용을 추가로 요구하지 않으면서도 미니배치 및 비미분 설정으로의 확장을 유지하면서 이론적 보장을 보존하는 것.
• 이론적 결과를 실증적으로 검증하고, 최신 기술 수준의 스토하스틱 최적화 방법들과 경쟁 가능한 성능을 보여주는 것.

제안 방법

• 단 하나의 추가 변수와 하나의 모멘타 파라미터를 사용하는 새로운 모멘타 가속 메커니즘을 제안하여 업데이트 구조를 단순화한다.
• 기존 SVRG 프레임워크를 변형하여 과거의 전체 경사와 스토하스틱 경사를 조합한 모멘타가 포함된 분산 감소 경사 추정기를 도입한다.
• 이중 루프 아키텍처를 사용한다: 외부 루프는 스냅샷 점에서 전체 경사를 계산하고, 내부 루프는 편향이 있지만 분산이 감소된 경사 추정기를 사용해 프록시멀 업데이트를 수행한다.
• 리아푸노프 함수 분석을 통해 수렴 속도를 유도하며, 강凸 문제에 대해 선형 수렴을 보이고, 비강凸 케이스에 대해서는 향상된 수렴 속도를 확보한다.
• 미니배치 설정으로의 확장을 위해 샘플링 전략을 조정하고, 레마 E.1에 기반한 농도 불등식을 통해 분산 범위를 조정한다.
• 문제의 조건수와 데이터 크기와의 최적 스케일링을 가능하게 하는 파rameterized 스텝 사이즈 및 모멘타 스킴을 도입한다.

실험 결과

연구 질문

• RQ1 프록시멀 SVRG에 대해 최적의 수렴 속도를 유지하면서도 더 단순한 모멘타 기반 가속 기법을 설계할 수 있는가?
• RQ2 가속화된 SVRG에서 보조 변수와 모멘타 파라미터의 수를 줄이면 수렴 속도를 희생시키지 않고도 반복당 복잡도를 낮출 수 있는가?
• RQ3 제안된 방법이 유한합 최소화 문제에서 비강凸 및 강凸 문제 모두에 대해 최고 성능을 기록한 오라클 복잡도를 달성할 수 있는가?
• RQ4 ASVRG의 미니배치 확장은 기존 방법들과 비교해 수렴 성능 및 실용적 성능에 어떤 영향을 미치는가?
• RQ5 ASVRG의 실증적 성능은 Katyusha와 같은 최신 기술 수준의 스토하스틱 최적화 알고리즘을 능가하거나 이를 충족하는가?

주요 결과

• 강凸 문제에 대해 ASVRG는 O((n + √(nL/μ)) log(1/ε))의 최고 성능 오라클 복잡도를 달성하며, 로그 인자 외에는 이론적 하한선과 일치한다.
• 비강凸 문제에 대해서는 O(1/t²)의 수렴 속도를 확보하여 FISTA와 같은 가속화된 결정론적 방법의 최적 속도를 달성한다.
• 단 하나의 추가 변수와 하나의 모멘타 파라미터만을 요구하므로, Katyusha가 사용하는 다수의 보조 변수에 비해 반복당 복잡도가 크게 감소한다.
• 실증 결과에 따르면, 다양한 머신러닝 작업에서 ASVRG는 Katyusha 및 Prox-SVRG와 비교해 유사하거나 더 우수한 성능을 보였다.
• ASVRG의 미니배치 확장은 이론적 수렴 보장을 유지하며, 레마 E.1의 분산 상한에 기반해 더 큰 배치 크기에서의 확장성 향상을 보였다.
• 이론적 분석을 통해 ASVRG의 모멘타 메커니즘이 경사 분산을 효과적으로 감소시키고, 특히 조건 수가 나쁜 문제에서 수렴을 가속화하는 데 기여함을 확인했다.