[논문 리뷰] An efficient distributed learning algorithm based on effective local functional approximations

Dhruv Mahajan, Nikunj Agrawal외 3명|arXiv (Cornell University)|2013. 10. 31.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 대규모 머신러닝에서 통신 오버헤드를 줄이기 위해 국소 기능 근사치를 사용하는 새로운 분산학습 알고리즘인 FADL을 제안한다. 각 노드가 국소적으로 근사된 목적함수를 풀고 결과를 반복적으로 통합함으로써 FADL은 전역 선형 수렴성을 달성하며, 통신 비용이 높은 환경에서 Terascale와 같은 최첨단 기법들을 능가하여 kdd2010, url, webspam 등의 다양한 데이터셋에서 1–10배의 속도 향상을 보였다.

ABSTRACT

Scalable machine learning over big data is an important problem that is receiving a lot of attention in recent years. On popular distributed environments such as Hadoop running on a cluster of commodity machines, communication costs are substantial and algorithms need to be designed suitably considering those costs. In this paper we give a novel approach to the distributed training of linear classifiers (involving smooth losses and L2 regularization) that is designed to reduce the total communication costs. At each iteration, the nodes minimize locally formed approximate objective functions; then the resulting minimizers are combined to form a descent direction to move. Our approach gives a lot of freedom in the formation of the approximate objective function as well as in the choice of methods to solve them. The method is shown to have $O(log(1/ε))$ time convergence. The method can be viewed as an iterative parameter mixing method. A special instantiation yields a parallel stochastic gradient descent method with strong convergence. When communication times between nodes are large, our method is much faster than the Terascale method (Agarwal et al., 2011), which is a state of the art distributed solver based on the statistical query model (Chuet al., 2006) that computes function and gradient values in a distributed fashion. We also evaluate against other recent distributed methods and demonstrate superior performance of our method.

연구 동기 및 목표

• 빅데이터 환경에서 분산 머신러닝의 높은 통신 비용, 특히 통신 지연이 계산 시간을 지배할 때의 문제를 해결하기 위해.
• 강한 수렴 보장을 유지하면서도 통신 횟수를 최소화하는 유연한 분산 최적화 프레임워크를 설계하기 위해.
• 분산형, 예제 기반 분할 환경에서 스무딩 손실과 L2 정규화를 갖는 선형 분류기의 효율적 학습을 가능하게 하기 위해.
• 반복적 매개변수 혼합 방법의 일종에 대해 전역 선형 수렴 속도(glrc)의 이론적 기반을 구축하기 위해.
• 총 학습 시간과 통신 효율성 측면에서 Terascale, CoCoA, ADMM와 같은 기존 기법들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 노드에서 로컬으로 저장된 데이터 파artition 기반으로 전역 목적함수의 국소 기능 근사치를 사용한다.
• 각 노드는 적절한 국소 최적화 방법을 사용하여 자체 근사 목적함수를 최소화함으로써 계산 유연성을 확보한다.
• 결과로 도출된 국소 최소화값을 집계하여 전역 반복의 내림방향을 형성함으로써 전역 목적함수의 감소를 보장한다.
• 이 방법은 수렴이 약한 볼록성과 기울기 일致성 조건 하에서 보장되는 반복적 매개변수 혼합(IPM) 방식으로 제시된다.
• 주요 혁신은 기능 분할에 대해 기울기 부분 일치성(gradient sub-consistency)을 사용함으로써, 노드 간 기능 집합의 겹침이 있어도 수렴성을 유지할 수 있도록 했다.
• 알고리즘은 예제-기능 동시 분할을 지원하며, 비볼록 설정으로도 확장 가능하지만 수렴 분석은 볼록 케이스에서 더 단순하다.

실험 결과

연구 질문

• RQ1 통신 횟수를 줄이면서도 전역 선형 수렴성을 유지할 수 있는 분산학습 알고리즘을 설계할 수 있는가?
• RQ2 유연한 근사치와 조기 정지 기법을 허용하는 국소 최적화가 통신 비용이 높은 환경에서 총 학습 시간을 향상시키는가?
• RQ3 기능 집합의 겹침이 있는 기능 분할에 일반화할 수 있으며, 수렴성을 유지할 수 있는가?
• RQ4 Terascale, CoCoA, ADMM와 같은 최첨단 솔버와 비교할 때 통신과 계산의 상호 교환 관계에서 성능이 어떻게 되는가?
• RQ5 기능 근사 기반의 반복적 매개변수 혼합 방법의 일종에 대해 증명 가능한 전역 선형 수렴 속도(glrc)가 존재하는가?

주요 결과

• FADL은 전역 선형 수렴 속도(glrc)를 달성하여 오차가 매 반복마다 일정 요인만큼 감소함을 보장하며, ε-최적성에 도달하기까지 O(log(1/ε))회의 반복으로 충분하다.
• 특히 통신 비용이 높은 환경에서 FADL은 Terascale 대비 통신 횟수를 수 개 주기수만큼 감소시켰다.
• 단위 반복 계산 비용이 더 높음에도 불구하고, kdd2010, url, webspam 등의 다수 데이터셋에서 FADL은 Terascale 대비 1–10배의 속도 향상을 달성했다.
• FADL의 총 계산 대 통신 비용 비율은 평균 1.2–1.6으로, CoCoA(0.1–0.16)와 ADMM(1.3–3.5)에 비해 훨씬 우수한 균형을 보이며, 더 나은 통합 효율성을 의미한다.
• 중간 및 저차원 데이터셋에서도 FADL은 CoCoA와 ADMM를 총 학습 시간 측면에서 능가하여 다양한 환경에서의 강건성을 입증했다.
• 수렴성과 성능에 영향을 주지 않으면서도, 겹치는 기능 파artition 및 재샘플링을 포함한 다양한 데이터 사용 방식을 지원한다.