[논문 리뷰] A Block-wise, Asynchronous and Distributed ADMM Algorithm for General Form Consensus Optimization

Rui Zhu, Di Niu외 1명|arXiv (Cornell University)|2018. 02. 24.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 전역 잠금 없이 모델 파라미터 블록의 병렬 업데이트를 가능하게 하는 블록 단위, 비동기식, 분산형 ADMM 알고리즘인 AsyBADMM을 제안한다. 이는 희소 최적화에서 거의 선형적 성능 향상을 달성한다. 비볼록, 비연속 함수에 대해 정(stationary) 점으로의 수렴을 이론적으로 증명하고, 실제 데이터를 사용한 대규모 희소 로지스틱 회귀 문제에서 성능을 검증한다.

ABSTRACT

Many machine learning models, including those with non-smooth regularizers, can be formulated as consensus optimization problems, which can be solved by the alternating direction method of multipliers (ADMM). Many recent efforts have been made to develop asynchronous distributed ADMM to handle large amounts of training data. However, all existing asynchronous distributed ADMM methods are based on full model updates and require locking all global model parameters to handle concurrency, which essentially serializes the updates from different workers. In this paper, we present a novel block-wise, asynchronous and distributed ADMM algorithm, which allows different blocks of model parameters to be updated in parallel. The lock-free block-wise algorithm may greatly speedup sparse optimization problems, a common scenario in reality, in which most model updates only modify a subset of all decision variables. We theoretically prove the convergence of our proposed algorithm to stationary points for non-convex general form consensus problems with possibly non-smooth regularizers. We implement the proposed ADMM algorithm on the Parameter Server framework and demonstrate its convergence and near-linear speedup performance as the number of workers increases.

연구 동기 및 목표

• 기존의 비동기 분산 ADMM 방법에서 전역 파라미터 잠금에 의존하는 스케일러비리티 문제를 해결하기 위해, 비동기성에도 불구하고 업데이트를 직렬화하는 요인을 제거한다.
• 분산 서버 간 모델 파라미터 블록의 독립적 업데이트를 허용하여 희소 최적화에서 효율적인 병렬 처리를 가능하게 한다.
• 일般형 공유 문제에 대해 비연속 정규화를 갖는 경우에도 유한 지연 조건 하에서 정점으로의 수렴을 보장하는 이론적으로 탄탄한 알고리즘을 개발한다.
• 파라미터 서버 아키텍처를 사용하여 실제 대규모 희소 데이터셋에서 실용적인 확장성과 수렴 성능을 입증한다.

제안 방법

• 모든 워커가 모델 파라미터의 일부 블록만 업데이트하는 블록 단위 ADMM 설정을 제안하여 전체 모델 잠금을 방지한다.
• 지연에 민감한 페널티 파라미터 $\rho_{i,j}$ 와 지연에 의존하는 항 $\gamma$ 를 도입하여 유한 지연 조건 하에서도 수렴을 보장한다.
• 다수의 서버 노드로 구성된 파라미터 서버 아키텍처를 사용하며, 각 서버는 공유 변수 $\mathbf{z}$ 의 블록을 저장하여 분산 및 동시 업데이트를 가능하게 한다.
• 워커들이 다른 워커의 대기 없이 독립적으로 좌표를 순환하고 블록을 업데이트하는 비동기 업데이트 메커니즘을 적용한다.
• 이중 상승과 증강 라그랑주 함수를 사용하는 공유 기반 ADMM 업데이트 규칙을 적용하며, 각 워커는 국소 데이터와 부분 모델 파라미터를 사용해 하위 문제를 해결한다.
• 고차원 희소 환경에서의 발산을 방지하기 위해 훈련 안정성을 향상시키기 위해 클리핑 메커니즘 $\|\mathbf{x}\|_\infty \leq C$ 를 적용한다.

실험 결과

연구 질문

• RQ1 유한 지연 조건 하에서 비볼록, 비연속 공유 최적화 문제에 대해 블록 단위 비동기 ADMM 알고리즘이 수렴할 수 있는가?
• RQ2 분산 ADMM에서 전역 파라미터 잠금을 제거함으로써 대규모 희소 학습 작업에서 거의 선형적 성능 향상이 달성되는가?
• RQ3 기존의 동기식 또는 잠금이 있는 비동기 ADMM 방법과 비교해 실제 희소 데이터셋에서 제안된 알고리즘이 실제로 어떻게 성능을 내는가?
• RQ4 지연 범위와 페널티 파라미터의 선택이 수렴성과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• AsyBADMM는 거의 선형적 성능 향상을 달성한다: 2000만 개의 특성과 3억 500만 개의 비제로 요소를 가진 희소 텍스트 데이터셋에서 32개의 워커를 사용할 경우, 100회의 반복에 대해 성능 향상이 29.83배에 이른다.
• 비볼록, 비연속 목표 함수에 대해서도 유한 지연 조건 하에서 KKT 조건을 만족하는 정점으로의 수렴을 보장한다.
• 18개의 c4.large 인스턴스를 사용한 Amazon EC2 환경에서의 실험 결과, 모든 워커 수(1~32개)에서 목적 함수가 안정적으로 수렴함을 확인했다.
• 100회의 반복에 대한 실행 시간은 1명의 워커일 경우 6802초에서 32명의 워커일 경우 228초로 감소하여 강력한 확장성을 입증했다.
• 비동기 업데이트와 허용 가능한 지연 조건 하에서도 수렴이 유지됨을 확인했으며, 그림 2(a)와 (b)의 목적 함수 그래프에서 이를 확인할 수 있다.
• 모든 실험에서 안정적인 훈련과 수렴을 확보하기 위해 $\gamma = 0.01$ 과 $\rho_{i,j} = 100$ 의 조합을 선택한 것이 효과적이다.