[논문 리뷰] Distributed Stochastic Optimization via Adaptive SGD

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|2018. 02. 16.

Stochastic Gradient Optimization Techniques인용 수 14

한 줄 요약

이 논문은 적응형 확률적 경사 하강법(SGD)과 분산된 환경에서의 분산 감소 기법을 조합하여, 기계 수에 따라 선형 속도 향상, 일정한 메모리 사용, 그리고 로그 수준의 통신 라운드를 달성하는 분산 확률적 최적화 방법을 제안한다. 이 방법은 어떤 순차적 온라인 학습 알고리즘이라도 블랙박스 방식으로 병렬화할 수 있게 하며, 부드러움 매개변수 조정이 필요 없이 최적 수렴 속도를 달성하고, 로지스틱 회귀의 Spark 구현에서 뚜렷한 런타임 향상을 보인다.

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial method that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method by combining adaptivity with variance reduction techniques. Our analysis yields a linear speedup in the number of machines, constant memory footprint, and only a logarithmic number of communication rounds. Critically, our approach is a black-box reduction that parallelizes any serial online learning algorithm, streamlining prior analysis and allowing us to leverage the significant progress that has been made in designing adaptive algorithms. In particular, we achieve optimal convergence rates without any prior knowledge of smoothness parameters, yielding a more robust algorithm that reduces the need for hyperparameter tuning. We implement our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

연구 동기 및 목표

• 대규모 머신러닝에서 확률적 볼록 최적화를 스케일링하는 데 도전하는 문제를 해결하기 위해, 순차적 온라인 학습 알고리즘의 효율적 병렬화를 가능하게 한다.
• 기계 수에 따라 선형 속도 향상을 달성하면서도 일정한 메모리 사용과 로그 수준의 통신 라운드를 유지한다.
• 부드러움 매개변수의 수동 조정이 필요 없도록, 알려지지 않은 문제 매개변수에 자동으로 적응할 수 있도록 한다.
• 기존의 적응형 온라인 학습 알고리즘을 재사용할 수 있도록 분석을 단순화하는 블랙박스 감소 기법을 제공한다.
• Spark 프레임워크를 사용한 대규모 로지스틱 회귀에서의 실증적 검증을 통해, 런타임 성능 향상이 뚜렷하게 나타남을 보여준다.

제안 방법

• 모든 순차적 온라인 학습 알고리즘을 충분히 적응적인 수렴 보장을 갖는 경우에 대해 블랙박스 감소 기법을 사용해 병렬화한다.
• SVRG와 유사한 배치 경사도 추정 단계를 통해 분산 환경에서의 경사 노이즈를 감소시켜 분산 감소를 통합한다.
• 배치 단계(병렬로 정확한 경사도 계산)와 SGD 단계(배치 경사도를 사용해 분산 감소)를 번갈아가며 수행한다.
• 부드러움 매개변수에 대한 사전 지식 없이도 수렴을 보장하는 새로운 펌핑 기법을 통해 적응형 학습률을 유지한다.
• 데이터 크기에 대해 로그 수준으로 감소하는 통신 라운드 수를 확보하기 위해 계층적이고 다중 수준의 집계 전략을 사용해 통신 빈도를 최소화한다.
• 기존 데이터를 처리한 후 폐기함으로써 스트리밍 데이터를 지원하고, 각 기계에서 일정한 메모리 사용을 유지한다.

실험 결과

연구 질문

• RQ1 기계 수에 따라 선형 속도 향상을 달성하면서도 일정한 메모리 사용과 로그 수준의 통신 라운드를 유지할 수 있는가?
• RQ2 내부 학습률 또는 매개변수 갱신 규칙을 수정하지 않고도 어떤 순차적 온라인 학습 알고리즘이라도 병렬화할 수 있는 블랙박스 감소 기법을 설계할 수 있는가?
• RQ3 부드러움 매개변수 L에 대한 사전 지식 없이도 최적 수렴 속도를 달성할 수 있는가?
• RQ4 대규모 로지스틱 회귀 작업에서 기존의 분산 SGD 변종 대비 수렴 속도와 통신 효율성 측면에서 성능이 뛰어나게 되는가?
• RQ5 분산 환경에서 런타임을 크게 줄이면서도 순차 버전과 동일한 샘플 복잡도를 유지할 수 있는가?

주요 결과

• m < √N 인 경우, 시간 복잡도는 Õ(N/m), 공간 복잡도는 O(1), 통신 복잡도는 Õ(1) 라운드(로그 수준 요소를 제외한)를 달성한다.
• 부드러움 매개변수 L의 조정이 필요 없이도 최적 수렴 속도 Õ(1/√N)를 제공하며, 알려지지 않은 문제 특성에 자동으로 적응할 수 있다.
• Spark에서의 실증 평가 결과, 병렬화된 구현은 순차 알고리즘과 동일한 샘플 복잡도를 유지하면서도 대규모 로지스틱 회귀 작업에서 런타임을 최대 90%까지 감소시켰다.
• KDD10 및 KDD12 데이터셋에서 제안된 SVRG OL 방법은 Spark ML, VW, MiniBatch SGD, 표준 SVRG보다 낮은 테스트 손실과 높은 AUC를 기록했으며, 통신 라운드 수는 4회, 런타임은 6분으로 매우 효율적이었다.
• 배치 경사도 추정이 노이즈가 있을 경우에도 강력한 분산 감소와 적응형 정규화 덕분에, 고려할 만한 하위최적성 경계 Õ(1/√N)를 높은 확률로 달성한다.
• 기존 방법 대비 통신 효율성이 뛰어나, 최소 √N(미니배치-SGD에서의 경우)에서 N에 대해 로그 수준으로 감소시켜 매우 큰 N에 대해 거의 일정한 map-reduce 작업 횟수를 가능하게 한다.