[논문 리뷰] Distributed Asynchronous Dual Free Stochastic Dual Coordinate Ascent

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|2016. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 비볼록 목표 함수를 최적화하기 위해 이중 형식을 회피하는 분산 비동기 알고리즘인 Dis-dfSDCA를 제안한다. 국소 해법으로 이중 없는 확률적 이중 좌표 상승법(dual-free stochastic dual coordinate ascent)을 사용한다. 개별 함수가 비볼록이어도 합이 볼록이면 선형 수렴를 달성하며, 비동기 통신을 통해 스트래글러 문제를 크게 완화하여 CoCoA+와 SVRG에 비해 수렴 속도와 확장성 면에서 뛰어나다.

ABSTRACT

The primal-dual distributed optimization methods have broad large-scale machine learning applications. Previous primal-dual distributed methods are not applicable when the dual formulation is not available, e.g. the sum-of-non-convex objectives. Moreover, these algorithms and theoretical analysis are based on the fundamental assumption that the computing speeds of multiple machines in a cluster are similar. However, the straggler problem is an unavoidable practical issue in the distributed system because of the existence of slow machines. Therefore, the total computational time of the distributed optimization methods is highly dependent on the slowest machine. In this paper, we address these two issues by proposing distributed asynchronous dual free stochastic dual coordinate ascent algorithm for distributed optimization. Our method does not need the dual formulation of the target problem in the optimization. We tackle the straggler problem through asynchronous communication and the negative effect of slow machines is significantly alleviated. We also analyze the convergence rate of our method and prove the linear convergence rate even if the individual functions in objective are non-convex. Experiments on both convex and non-convex loss functions are used to validate our statements.

연구 동기 및 목표

• 비볼록 목표 함수에 대해 이중 형식이 존재하지 않아 이중 형식이 필요한 기존의 원 primal-dual 분산 방법의 한계를 해결한다.
• 성능이 가장 느린 워커에 의해 저해되는 분산 시스템에서의 스트래글러 문제를 극복한다.
• 이중 형식에 의존하지 않거나 동기 통신에 의존하지 않는 분산 최적화 방법을 개발한다.
• 전체 목표 함수가 볼록일 경우 비볼록 개별 함수에 대해서도 이론적 수렴 보장을 수립한다.
• 스트래글러가 존재하는 분산 환경에서 CoCoA+와 SVRG와 같은 기존 방법들에 비해 실용적으로 뛰어난 성능을 보여준다.

제안 방법

• 이중 형식에 의존하지 않는 이중 없는 확률적 이중 좌표 상승법(dfSDCA)를 국소 해법으로 사용하는 분산 비동기 알고리즘인 Dis-dfSDCA를 제안하여 이중 형식 의존성을 제거한다.
• 서버와 워커 간 비동기 통신을 허용하여 서버가 느린 워커를 기다리지 않고도 진행할 수 있도록 하여 스트래글러 문제를 완화한다.
• 워커가 오래된 전역 변수를 저장하고 비동기적으로 업데이트하는 파라미터 서버 프레임워크를 사용하여 시스템 처리량을 향상시킨다.
• 비볼록 개별 손실 함수를 갖는 정규화된 경험 리스크 최소화 문제로 최적화 문제를 설정하지만, 총합은 볼록함을 보장한다.
• 전체 목표 함수가 볼록할 경우, 개별 함수가 비볼록이어도 온건한 조건 하에서 선형 수렴 속도를 증명한다.
• 성능 평가를 위해 실험에서 학습률를 {1, 0.1, 0.001, 0.0001} 중에서 적응적으로 선택한다.

실험 결과

연구 질문

• RQ1 비볼록 개별 손실 함수에 대해 이중 형식에 의존하지 않고도 선형 수렴를 달성할 수 있는가?
• RQ2 스트래글러 조건 하에서 비동기 통신은 분산 최적화의 수렴성과 확장성에 어떤 영향을 미치는가?
• RQ3 개별 함수가 비볼록이지만 합이 볼록일 경우, 제안된 방법이 여전히 빠른 수렴을 유지하는가?
• RQ4 스트래글러가 존재할 경우 Dis-dfSDCA는 CoCoA+와 SVRG에 비해 수렴 속도와 확장성 면에서 어떻게 비교되는가?
• RQ5 PCA와 로지스틱 회귀와 같은 실제 문제에 비볼록 성분이 포함된 경우에도 이 방법이 효과적으로 적용될 수 있는가?

주요 결과

• 개별 손실 함수가 비볼록이어도 전체 목표 함수가 볼록일 경우 Dis-dfSDCA는 선형 수렴를 달성한다.
• 4명의 워커가 있는 IJCNN1 데이터셋에서 Dis-dfSDCA는 시간과 에포크 수 모두에서 CoCoA+보다 더 빠르게 수렴하며, 특히 스트래글러 조건 하에서 두각을 나타낸다.
• COVTYPE에서 8명의 워커, RCV1에서 16명의 워커를 사용할 경우 Dis-dfSDCA는 CoCoA+에 비해 뛰어난 스피드업 성능를 보이며 이질적인 환경에서의 우수한 확장성을 확인한다.
• 비볼록 케이스(PCA 관련 문제)에서 Dis-dfSDCA는 각 반복에서의 기울기 계산 횟수가 줄어들어 분산 비동기 SVRG에 비해 수렴 속도에서 뛰어나다.
• 완전 기울기 계산이 필요하고 개별 함수에서 효율적인 기울기 분해가 어려운 경우에도 Dis-dfSDCA는 여전히 빠른 수렴성과 높은 확장성을 유지한다.
• 실험 결과 Dis-dfSDCA는 스트래글러가 존재하는 실제 분산 시스템에서도 강인하고 효과적이며, 이론적 수렴성과 실용적 성능을 모두 검증한다.