[논문 리뷰] Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|2017. 03. 01.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 14

한 줄 요약

이 논문은 미니배치 환경에서 정규화된 경험 위험 최소화를 위한 이중 가속화된 스위치 변동성 감소 이중 평균화(DASVRDA) 방법을 제안한다. 이중 가속화와 변동성 감소를 융합함으로써, 비강한 볼록 및 강한 볼록 목표 함수 모두에서 최적의 반복 복잡도를 달성하며, 미니배치 크기가 오직 $\sqrt{n}$ 이하일 경우에도 성능이 최적화된다. 이는 이전의 가속화된 방법들에 비해 미니배치 효율성을 크게 향상시킨다.

ABSTRACT

In this paper, we develop a new accelerated stochastic gradient method for efficiently solving the convex regularized empirical risk minimization problem in mini-batch settings. The use of mini-batches is becoming a golden standard in the machine learning community, because mini-batch settings stabilize the gradient estimate and can easily make good use of parallel computing. The core of our proposed method is the incorporation of our new "double acceleration" technique and variance reduction technique. We theoretically analyze our proposed method and show that our method much improves the mini-batch efficiencies of previous accelerated stochastic methods, and essentially only needs size $\sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Further, we show that even in non-mini-batch settings, our method achieves the best known convergence rate for both non-strongly and strongly convex objectives.

연구 동기 및 목표

• 기존의 가속화된 스위치 방법이 미니배치 환경에서 효율성이 떨어지는 문제를 해결한다. 이는 배치 크기 증가에 따른 성능 향상 비율이 낮기 때문이다.
• 변동성 감소 스위치 방법에서 가속화와 미니배치 활용 간의 상충 관계를 극복한다.
• 특히 대규모 머신러닝 문제에서 최소한의 미니배치 크기로 최적의 반복 복잡도를 달성하는 방법을 개발한다.
• 비강한 볼록 및 강한 볼록 목표 함수 모두에서 비미니배치 및 미니배치 환경에서 최고의 알려진 수렴 속도를 달성한다.
• 이론적 분석을 통해 총 계산 비용과 미니배치 크기 요구 조건 측면에서 방법이 최적임을 입증한다.

제안 방법

• 이중 가속화를 통합한 새로운 이중 평균화 프레임워크를 제안하며, 모멘텀과 변동성 감소 기법을 융합한다.
• 스위치 변동성 감소 이중 평균화(SVRDA) 방법에 이중 가속화 기법을 적용하여 안정성을 유지하면서도 수렴 속도를 향상시킨다.
• 지속적인 강한 볼록성의 특성을 활용하기 위해 모멘텀 파rameter에서 유도된 가중치를 사용하는 가중치 평균 전략을 최종 해에 적용한다.
• 제어 변수를 사용하여 기울기 노이즈를 감소시키는 미니배치 스위치 기울기 추정기법을 적용한다.
• 보조 변수 $ z_k $ 를 위한 새로운 업데이트 규칙을 도입하여, 프록시멀 및 모멘텀 단계를 통합함으로써 볼록 및 강한 볼록 환경 모두에서 수렴을 보장한다.
• 이론적 분석은 라파노프 함수와 재귀 부등식을 기반으로 하며, 기대값의 최적성 갭을 유계로 제한함으로써 향상된 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 이중 가속화를 미니배치 환경에서 변동성 감소와 효과적으로 융합하여 최적의 반복 복잡도를 달성할 수 있는가?
• RQ2 가속화된 스위치 방법이 최적의 수렴 속도를 달성하기 위해 필요한 최소한의 미니배치 크기는 얼마인가?
• RQ3 Katyusha, ASDCA, APCG와 같은 기존의 가속화된 방법들과 비교해 볼 때, 제안된 방법은 미니배치 효율성 측면에서 어떻게 다른가?
• RQ4 비미니배치 환경에서도 최적의 수렴 속도를 유지하는가? 문제의 조건 수치에 따라 어떻게 스케일링되는가?
• RQ5 전역적인 강한 볼록성 가정 없이 지역적 강한 볼록성을 어떻게 활용할 수 있는가?

주요 결과

• 제안된 DASVRDA 방법은 비강한 볼록 및 강한 볼록 목표 함수 모두에서 최적의 반복 복잡도를 달성하며, 최적 성능을 내기 위해 오직 $\sqrt{n}$ 의 미니배치 크기만 필요하다.
• 미니배치 환경에서 이전의 가속화된 방법들에 비해 요구되는 미니배치 크기를 $O(n)$ 에서 $O(\sqrt{n})$ 으로 감소시켜 병렬 처리 효율성을 크게 향상시켰다.
• 강한 볼록 목표 함수의 경우, 총 계산 비용이 $O\left(d\left(n + \frac{bL}{\mu}\right)\mathrm{log}(1/\varepsilon)\right)$ 로 나타나, 기존에 알려진 최고의 비율과 일치한다.
• 비미니배치 환경에서는 비강한 볼록 및 강한 볼록 목표 함수 모두에서 최고의 알려진 수렴 속도를 달성하며, 표준 SVRG 및 SGD 를 능가한다.
• 조건 수에 대해 강인하다: AccProxSVRG 와 달리 조건 수 $\kappa$ 가 증가함에 따라 미니배치 크기를 늘릴 필요가 없으며, $\kappa$ 와 무관하게 항상 $O(\sqrt{n})$ 의 미니배치 크기를 유지한다.
• 이론적 분석을 통해 반복 복잡도와 계산 비용 측면에서 방법이 최적임을 확인하였으며, 수렴 속도에 추가적인 로그 인자 없이 최적의 성능을 달성한다.