[논문 리뷰] SCOPE: Scalable Composite Optimization for Learning on Spark

Shen-Yi Zhao, Ru Xiang외 3명|arXiv (Cornell University)|2016. 01. 30.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 Apache Spark에서 분산 기계 학습을 위한 확장 가능한 복합 최적화 방법인 SCOPE를 제안한다. 변동성 감소와 효율적인 동기화를 활용하여 선형 수렴을 달성한다. 실제 데이터셋에서 최신 기술 대비 빠른 속도와 뛰어난 확장성을 보이며, 다중 머신 클러스터에서 초선형적 속도 향상을 입증한다.

ABSTRACT

Many machine learning models, such as logistic regression~(LR) and support vector machine~(SVM), can be formulated as composite optimization problems. Recently, many distributed stochastic optimization~(DSO) methods have been proposed to solve the large-scale composite optimization problems, which have shown better performance than traditional batch methods. However, most of these DSO methods are not scalable enough. In this paper, we propose a novel DSO method, called \underline{s}calable \underline{c}omposite \underline{op}timization for l\underline{e}arning~({SCOPE}), and implement it on the fault-tolerant distributed platform \mbox{Spark}. SCOPE is both computation-efficient and communication-efficient. Theoretical analysis shows that SCOPE is convergent with linear convergence rate when the objective function is convex. Furthermore, empirical results on real datasets show that SCOPE can outperform other state-of-the-art distributed learning methods on Spark, including both batch learning methods and DSO methods.

연구 동기 및 목표

• Spark에서 대규모 기계 학습을 위한 기존 분산 확률적 최적화(DSO) 방법의 확장성 한계를 해결하기 위해.
• 마스터-슬레이브 아키텍처이자 장애 내성 있는 Spark 환경에서 계산 효율성과 통신 효율성을 동시에 확보하는 방법을 설계하기 위해.
• 분산 환경에서 강력 볼록 복합 최적화 문제에 대해 선형 수렴을 달성하기 위해.
• 실제 데이터셋에서 기존 배치 및 DSO 방법에 비해 수렴 속도와 확장성 측면에서 뛰어난 성능을 내기 위해.

제안 방법

• SCOPE는 매개변수 벡터를 마스터에 저장하고 데이터를 워커에 분할하는 마스터-슬레이브 아키텍처를 사용한다.
• SVRG에 영감을 받은 변동성 감소 확률적 최적화 프레임워크를 사용하여 기울기의 변동성을 줄여 선형 수렴을 가능하게 한다.
• Spark의 MapReduce 유사 블록 동기 병렬(BSP) 모델을 통해 동기 업데이트를 수행하여 통신 오버헤드를 최소화한다.
• 각 워커는 자신의 데이터 파티션에서 국소 기울기를 계산하고 이를 마스터에 전송하며, 마스터는 업데이트를 집계하고 전역 매개변수를 동기화한다.
• 통신 빈도를 줄이고 국소 계산을 극대화하여 동기화 비용을 최소화하도록 알고리즘을 설계하였다.
• Scala로 Spark 1.5.2에 구현되었으며, 복합 최적화 문제의 원본 및 이중 공식화를 모두 지원한다.

실험 결과

연구 질문

• RQ1 Spark 기반 환경에서 복합 최적화 문제에 대해 분산 최적화 방법이 선형 수렴을 달성할 수 있는가?
• RQ2 실제 데이터셋에서 SCOPE는 기존 배치 및 DSO 방법에 비해 수렴 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 다중 머신 Spark 클러스터에서 SCOPE의 통신 및 계산 효율성은 어떠한가?
• RQ4 통신 감소와 캐시 활용 향상 덕분에 SCOPE는 초선형적 속도 향상을 달성하는가?
• RQ5 CoCoA+, Splash, MLlib의 분산 L-BFGS와 같은 최신 기술 대비 SCOPE의 성능은 어떻게 비교되는가?

주요 결과

• 이론적으로 증명되고 실험적으로 검증된 바에 따르면, SCOPE는 강력 볼록 문제에서 선형 수렴을 달성한다.
• 모든 네 개의 실세계 데이터셋에서 SCOPE는 다섯 번 이내의 외부 루프 업데이트로 수렴하며, 다른 방법들에 비해 뚜렷한 승리를 거두었다.
• MNIST-8M 데이터셋에서 SCOPE는 초선형적 속도 향상을 보였으며, 32台의 머신이 선형 스케일링을 고려한 예상보다 더 빠른 훈련 속도를 달성했다.
• Splash와 달리 진동 없이 안정적인 수렴을 보였으며, 이는 변동성 감소 성질을 확인하는 데 기여한다.
• CoCoA+, CoCoA, Splash, MLlib의 L-BFGS, LibLinear을 포함한 최신 기술 대비 SCOPE는 수렴 속도와 확장성 측면에서 모두 뛰어난 성능을 보였다.