[논문 리뷰] A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization

Shun Zheng, Jialei Wang외 3명|arXiv (Cornell University)|2016. 04. 13.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 데이터 병렬 환경에서 정규화된 손실 최소화를 위한 새로운 분산 이중좌표 최적화 프레임워크인 분산 교차 이중 최대화(Distributed Alternating Dual Maximization, DADM)를 제안한다. 보조 변수 β를 도입하여 국지적 이중 변수를 분리하는 새로운 이중 공식화를 통해, 조건수에 관계없이 수렴 속도가 빠른 분산 최적화를 가능하게 하며, 특히 가속 버전인 Acc-DADM은 조건수에 의존하지 않는 향상된 반복 복잡도를 달성한다.

ABSTRACT

In modern large-scale machine learning applications, the training data are often partitioned and stored on multiple machines. It is customary to employ the "data parallelism" approach, where the aggregated training loss is minimized without moving data across machines. In this paper, we introduce a novel distributed dual formulation for regularized loss minimization problems that can directly handle data parallelism in the distributed setting. This formulation allows us to systematically derive dual coordinate optimization procedures, which we refer to as Distributed Alternating Dual Maximization (DADM). The framework extends earlier studies described in (Boyd et al., 2011; Ma et al., 2015a; Jaggi et al., 2014; Yang, 2013) and has rigorous theoretical analyses. Moreover with the help of the new formulation, we develop the accelerated version of DADM (Acc-DADM) by generalizing the acceleration technique from (Shalev-Shwartz and Zhang, 2014) to the distributed setting. We also provide theoretical results for the proposed accelerated version and the new result improves previous ones (Yang, 2013; Ma et al., 2015a) whose runtimes grow linearly on the condition number. Our empirical studies validate our theory and show that our accelerated approach significantly improves the previous state-of-the-art distributed dual coordinate optimization algorithms.

연구 동기 및 목표

• 기계 간 데이터 분할 환경에서 정규화된 손실 최소화를 확장하는 데 도전하는 데 목적을 두며.
• 기존의 이중좌표 방법이 분산 환경에서 이중 변수 간 결합 문제로 인해 어려움을 겪는 점을 극복하는 데 목적을 두며.
• 현대의 대규모 머신러닝 워크로드에 적합한 이론적으로 탄탄하고 통신 효율적인 최적화 프레임워크를 개발하는 데 목적을 두며.
• 복잡한 정규화(예: L2-L1)를 처리할 수 있도록 ProxSDCA 알고리즘을 분산 환경으로 확장하면서도 빠른 수렴 속도를 유지하는 데 목적을 두며.

제안 방법

• 기계 간 국지적 이중 변수를 분리하기 위해 보조 이중 변수 β를 도입하여 새로운 분산 이중 공식화를 제안한다.
• 로컬 이중 최대화 후 전역 프리미벌 변수 동기화를 수행하는 두 단계의 교차 최적화 절차를 설계한다.
• 복잡한 정규화를 갖는 국지적 최적화를 효율적으로 수행할 수 있도록 ProxSDCA 방법을 분산 환경에 적응시킨다.
• Shalev-Shwartz & Zhang (2014)의 가속 기법을 분산 이중 프레임워크로 일반화하여 Acc-DADM을 도입한다.
• 기계 간 통신 시 전역 업데이트만 교환하는 통신 효율적인 프rotocol를 적용하여 네트워크 오버헤드를 최소화한다.
• 이론적 분석을 통해 Acc-DADM이 조건수에 의존하지 않는 반복 복잡도를 달성함을 입증하며, 이는 이전 연구를 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 변수 간 결합 문제를 자연스럽게 해결하면서도 이론적 수렴 보장을 유지할 수 있는 새로운 이중 공식화를 설계할 수 있는가?
• RQ2 단일 머신 환경에서의 ProxSDCA 가속 기법을 분산 이중좌표 설정으로 일반화할 수 있는가?
• RQ3 제안된 가속된 분산 이중 최적화 방법의 이론적 반복 복잡도는 기존 방법들과 비교해 어떻게 되는가?
• RQ4 현행 최고 수준의 분산 이중좌표 알고리즘과 비교해 실제 적용 시 더 빠른 수렴 속도와 더 낮은 통신 비용을 달성할 수 있는가?
• RQ5 이 프레임워크는 분산 환경에서 L2-L1 정규화와 같은 복잡한 정규화를 효율적으로 처리할 수 있는가?

주요 결과

• 제안된 Acc-DADM 알고리즘은 기존 방법과 달리 조건수에 의존하지 않는 더 빠른 수렴 속도를 확보하며, 반복 복잡도도 조건수에 관계없이 유지된다.
• 실험 결과, 모든 테스트 데이터셋(covtype, rcv1, HIGGS, kdd2010)에서 이중성 갭(duality gap)을 1e−3 수준으로 도달하기 위해 필요한 통신 횟수를 크게 줄였다.
• HIGGS 데이터셋에서 32台의 머신으로 확장할 경우, CoCoA+와 비교해 통신 비용을 최대 50%까지 감소시켰다.
• 정확도 도달 시간 결과는 kdd2010와 같이 대규모 데이터셋에서 Acc-DADM이 CoCoA+보다 통신 효율성이 뛰어나다는 것을 보여준다.
• 정규화된 이중성 갭 플롯은 모든 네 가지 데이터셋에서 λ 및 sp(미니배치 크기)의 모든 값에 대해 Acc-DADM이 CoCoA+보다 더 빠르게 수렴한다는 것을 확인한다.
• 프레임워크는 ProxSDCA를 분산 환경으로 일반화하여 L2-L1 정규화를 갖는 효율적 최적화를 가능하게 하며, 이론적 수렴 보장도 유지한다.