[논문 리뷰] Distributed Stochastic Optimization via Adaptive Stochastic Gradient Descent.

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|2018. 02. 16.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 2

한 줄 요약

이 논문은 선형 속도 향상, 최소한의 동기화 라운드(데이터셋 크기의 로그 스케일), 낮은 메모리 사용을 달성하는 적응형 스텝 사이즈와 분산 분산 최적화 방법을 제안한다. 이는 모든 순차적 SGD 알고리즘을 일반화하며, Spark에서 대규모 로지스틱 회귀 문제에서 뛰어난 성능 향상을 이끌어내는 효율적인 병렬화를 가능하게 한다.

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial in many applications, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial algorithm that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method based on adaptive step sizes and variance reduction techniques. We achieve a linear speedup in the number of machines, small memory footprint, and only a small number of synchronization rounds -- logarithmic in dataset size -- in which the computation nodes communicate with each other. Critically, our approach is a general reduction than parallelizes any serial SGD algorithm, allowing us to leverage the significant progress that has been made in designing adaptive SGD algorithms. We conclude by implementing our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

연구 동기 및 목표

• 대규모 머신러닝을 위한 순차적 확률적 경사하강법(SGD)을 효율적으로 병렬화하는 문제를 해결하기 위해.
• 데이터셋 크기의 로그 스케일로 통신 라운드 수를 제한하여 분산 최적화에서의 동기화 오버헤드를 줄이기 위해.
• 여러 대의 머신으로 확장되더라도 낮은 메모리 사용을 유지하기 위해.
• 기존의 순차적 적응형 SGD 알고리즘을 어떤 것도 병렬화할 수 있도록 일반화하기 위해.
• 실세계의 대규모 로지스틱 회귀 문제에서 실용적인 성능 향상을 입증하기 위해.

제안 방법

• 반복마다 수렴을 향상시키기 위해 적응형 스텝 사이즈를 활용하여, 적응형 SGD 알고리즘의 최근 발전을 응용한다.
• 분산 환경에서의 안정성과 수렴 가속을 위해 분산 분산 최적화 기법을 통합한다.
• 데이터셋 크기의 로그 스케일로 증가하는 동기화 횟수를 최소화하여 선형 속도 향상을 달성한다.
• 모든 순차적 SGD 구현을 병렬화할 수 있는 일반화된 감소 메커니즘을 통해 머신 간 통신을 최적화한다.
• 완전한 기울기나 큰 역사 버퍼를 저장하지 않음으로써 낮은 메모리 프로필을 유지한다.
• 대규모 클러스터에서의 실용적 구현을 가능하게 하기 위해 Apache Spark 프레임워크에 구현된다.

실험 결과

연구 질문

• RQ1 적응형 확률적 경사하강법은 최소한의 동기화로 분산 환경에서 효율적으로 병렬화될 수 있는가?
• RQ2 제안된 방법은 분산 학습에서 머신 수에 대해 선형 속도 향상을 달성하는가?
• RQ3 분산 프레임워크에서 분산 분산 최적화와 적응형 스텝 사이즈를 효과적으로 융합할 수 있는가?
• RQ4 제안된 분산 최적화 프레임워크에서 통신 오버헤드는 데이터셋 크기와 어떻게 스케일링되는가?
• RQ5 성능을 희생시키지 않고도 어떤 순차적 SGD 알고리즘에도 일반화할 수 있는가?

주요 결과

• 제안된 방법은 머신 수에 대해 선형 속도 향상을 달성하여 대규모 데이터셋에서 훈련 시간을 크게 단축시킨다.
• 동기화 횟수는 데이터셋 크기의 로그 스케일로 증가하여 분산 학습에서의 통신 병목 현상을 최소화한다.
• 낮은 메모리 프로필을 유지하여 자원 제약이 있는 분산 환경에 적합하다.
• 알고리즘은 모든 순차적 적응형 SGD를 성공적으로 일반화하여 고급 적응형 방법을 분산 환경에서 사용할 수 있도록 한다.
• Spark 기반 실험에서 표준 분산 SGD에 비해 대규모 로지스틱 회귀 문제에서 뚜렷한 성능 향상을 보였다.