[논문 리뷰] Don't Jump Through Hoops and Remove Those Loops: SVRG and Katyusha are Better Without the Outer Loop

Dmitry Kovalev, Samuel Horváth외 1명|arXiv (Cornell University)|2019. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 11

한 줄 요약

이 논문은 외부 루프를 제거하기 위해 완전한 기울기 계산을 작은 확률로 유도하는 확률적 동전 뒤집기 방식을 도입하여 SVRG 및 Katyusha의 루프 없는 변종을 제안한다. 새로운 방법들은 조건수 지식이 없더라도 원래 방법들과 동일한 이론적 수렴 속도를 달성하며, 수치 실험을 통해 더 뛰어난 실용적 성능과 더 뛰어난 강건성을 보여준다.

ABSTRACT

The stochastic variance-reduced gradient method (SVRG) and its accelerated variant (Katyusha) have attracted enormous attention in the machine learning community in the last few years due to their superior theoretical properties and empirical behaviour on training supervised machine learning models via the empirical risk minimization paradigm. A key structural element in both of these methods is the inclusion of an outer loop at the beginning of which a full pass over the training data is made in order to compute the exact gradient, which is then used to construct a variance-reduced estimator of the gradient. In this work we design {\em loopless variants} of both of these methods. In particular, we remove the outer loop and replace its function by a coin flip performed in each iteration designed to trigger, with a small probability, the computation of the gradient. We prove that the new methods enjoy the same superior theoretical convergence properties as the original methods. However, we demonstrate through numerical experiments that our methods have substantially superior practical behavior.

연구 동기 및 목표

• SVRG 및 Katyusha의 전통적인 외부 루프를 제거하여 각 반복에서 완전한 기울기 계산이 필요로 하는 문제를 해결한다.
• 작은 확률 p를 가진 동전 뒤집기 방식을 사용하여 완전한 기울기 계산을 유도하는 확률적 메커니즘을 설계한다.
• 조건수 지식 없이도 원래 방법들과 동일한 이론적 수렴 속도를 유지하는 루프 없는 변종이 성립함을 증명한다.
• 실험을 통해 루프 없는 방법들이 루프가 있는 대비 실용적으로 더 강건하고 빠른 성능을 보임을 보여준다.
• 동전 뒤집기 확률 p의 최적 선택에 대한 이론적 기반을 제공하며, p = 1/n일 때 조건수 추정 없이도 최적의 수렴 속도를 달성함을 보여준다.

제안 방법

• SVRG 및 Katyusha의 결정적 외부 루프를 확률적 메커니즘으로 대체한다: 각 반복에서 확률 p로 완전한 기울기를 계산하고, 이를 분산 감소 추정기 구축에 사용한다.
• 원래 SVRG와 동일한 분산 감소 메커니즘을 사용한다: g^k = ∇f_i(x^k) - ∇f_i(w^k) + ∇f(w^k), 이는 비편향성과 시간이 지남에 따라 감소하는 분산을 보장한다.
• 작은 확률 p를 가진 동전 뒤집기를 도입하여 완전한 기울기 계산을 유도하며, 잘 조절된 문제의 경우 p ∈ [1/n, μ/L] 범위에서 선택한다.
• 루프 없는 SVRG가 표준 SVRG와 동일한 O((n + L/μ) log(1/ε)) 반복 복잡도를 가지며, p = 1/n일 때 최적 성능을 달성함을 증명한다.
• 음성 운동량을 사용하여 루프 없는 Katyusha로 확장하고, 가속화된 속도 O((n + √(nL/μ)) log(1/ε))가 유지됨을 보여준다.
• 각 반복에서 완전한 기울기 평가 수의 기대값이 O(1 + pn)임을 분석하고, p = Θ(1/n)을 선택할 경우 총 복잡도가 최적화됨을 보여준다.

실험 결과

연구 질문

• RQ1 SVRG 및 Katyusha의 외부 루프를 제거해도 수렴 속도나 강건성에 영향을 주지 않으며, 성능이 유지될 수 있는가?
• RQ2 완전한 기울기 계산을 유도하는 동전 뒤집기 방식을 사용한 확률적 메커니즘이 원래 双중 루프 구조와 동일한 이론적 수렴 성능을 달성할 수 있는가?
• RQ3 조건수 지식 없이도 루프 없는 변종이 SVRG 및 Katyusha와 동일한 속도로 수렴할 수 있는가?
• RQ4 동전 뒤집기 확률 p의 선택이 루프 없는 방법의 실용적 성능에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋과 정규화 설정에서 루프 없는 변종이 루프가 있는 대비 더 강건하고 더 빠른가?

주요 결과

• 조건수 μ/L를 알지 못하더라도 루프 없는 SVRG는 표준 SVRG와 동일한 O((n + L/μ) log(1/ε)) 반복 복잡도를 달성한다.
• 루프 없는 SVRG의 경우 동전 뒤집기 확률을 p = 1/n로 설정할 때 최적의 수렴 속도를 달성하며, 이는 조건수 추정 없이도 최초로 성립하는 결과이다.
• 루프 없는 Katyusha의 경우 가속화된 속도 O((n + √(nL/μ)) log(1/ε))를 유지하며, 원래 방법의 이론적 성능과 일치한다.
• 수치 실험 결과, L-SVRG는 여러 데이터셋에서 표준 SVRG를 항상 초월하며, 일부 경우에서 수십 배의 성능 향상을 보였다.
• L-Katyusha의 경우 표준 Katyusha와 동등하거나 더 빠르며, 특정 환경에서는 뚜렷한 성능 향상을 보이며, p의 선택에 대해 강건함을 입증했다.
• 루프 없는 방법들은 하이퍼파rameter 선택에 더 강건하다: 심지어 가장 성능이 열악한 루프 없는 변종조차도 가장 성능이 뛰어난 루프가 있는 변종을 뛰어넘는다.