[논문 리뷰] PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent

Cho‐Jui Hsieh, Hsiang‐Fu Yu외 1명|arXiv (Cornell University)|2015. 04. 06.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 41

한 줄 요약

이 논문은 $\ell_2$-정규화된 모델의 빠르고 확장 가능한 훈련을 가능하게 하기 위해 공유 메모리에 원천 변수를 유지하는 비동기 병렬 확률적 이중좌표강하 알고리즘인 PASSCoDe를 제안한다. 잠금을 피하고 원자 연산을 사용함으로써 PASSCoDe는 선형 수렴(원자 쓰기로)과 역오차 분석(잠금 없이)을 달성하며, 대규모 데이터셋에서 이전의 병렬 솔버보다 속도와 확장성 면에서 뛰어나다.

ABSTRACT

Stochastic Dual Coordinate Descent (SDCD) has become one of the most efficient ways to solve the family of $\ell_2$-regularized empirical risk minimization problems, including linear SVM, logistic regression, and many others. The vanilla implementation of DCD is quite slow; however, by maintaining primal variables while updating dual variables, the time complexity of SDCD can be significantly reduced. Such a strategy forms the core algorithm in the widely-used LIBLINEAR package. In this paper, we parallelize the SDCD algorithms in LIBLINEAR. In recent research, several synchronized parallel SDCD algorithms have been proposed, however, they fail to achieve good speedup in the shared memory multi-core setting. In this paper, we propose a family of asynchronous stochastic dual coordinate descent algorithms (ASDCD). Each thread repeatedly selects a random dual variable and conducts coordinate updates using the primal variables that are stored in the shared memory. We analyze the convergence properties when different locking/atomic mechanisms are applied. For implementation with atomic operations, we show linear convergence under mild conditions. For implementation without any atomic operations or locking, we present the first {\it backward error analysis} for ASDCD under the multi-core environment, showing that the converged solution is the exact solution for a primal problem with perturbed regularizer. Experimental results show that our methods are much faster than previous parallel coordinate descent solvers.

연구 동기 및 목표

• 공유 메모리 다코어 시스템에서 사용되는 LIBLINEAR의 고도로 최적화된 순차적 DCD 알고리즘을 효율적으로 병렬화하는 도전 과제를 해결한다.
• 통신 및 동기화 오버헤드로 인해 성능 향상이 떨어지는 동기 병렬 DCD 방법의 한계를 극복한다.
• 원천 및 이중 변수를 모두 유지하는 비동기 병렬 DCD 알고리즘을 설계하여 원래 DCD 방법의 효율성을 유지한다.
• 공유 메모리 환경 제약 하에서 잠금, 원자 연산, 잠금 없는 실행과 같은 다양한 동기화 전략에 대해 수렴성 및 오차 한계를 분석한다.
• 기존 병렬 및 순차적 솔버와 비교하여 대규모 데이터셋에서 제안된 방법이 더 뛰어난 속도 향상과 수렴 성능을 달성함을 입증한다.

제안 방법

• 세 가지 변종 제안: PASSCoDe-Lock(뮤텍스 잠금 사용), PASSCoDe-Atomic(원자 쓰기를 통해 원천-이중 일致성 강제), PASSCoDe-Wild(잠금 없음, 원자 연산 없음).
• 각 스레드는 독립적으로 무작위로 선택된 이중 변수를 선택하고, 실시간으로 업데이트되는 공유된 원천 변수 $\boldsymbol{w}$를 사용하여 이를 갱신한다.
• PASSCoDe-Atomic에서는 원자 연산을 통해 원천-이중 관계 $\boldsymbol{w} = \sum_i \alpha_i \boldsymbol{x}_i$ 를 강제하고, PASSCoDe-Wild에서는 오차 분석을 통해 이를 구현한다.
• 역오차 분석을 사용하여 PASSCoDe-Wild가 수정된 정규화자를 가진 편향된 원천 문제의 정확한 해로 수렴함을 보여준다.
• CoCoA 및 AsySCD와의 공정한 비교를 위해 병렬 초기화 단계를 구현한다.
• 속도 향상 계산에서 초기화 시간을 제외하여 다양한 방법 간의 계산 효율성에 대해 공정하게 평가한다.

실험 결과

연구 질문

• RQ1 원천 및 이중 변수를 모두 유지하는 비동기 병렬 DCD 알고리즘을 설계하여 순차적 DCD 방법의 효율성을 유지할 수 있는가?
• RQ2 PASSCoDe-Atomic에서 원자 연산을 사용하면 약한 조건 하에서도 선형 수렴이 보장되는가?
• RQ3 잠금 없는 접근 방식(PASSCoDe-Wild)이 최종 해의 품질에 미치는 이론적 영향은 무엇이며, 최적 해에 얼마나 가까운가?
• RQ4 수렴 속도와 확장성 측면에서 PASSCoDe는 CoCoA 및 AsySCD와 같은 기존 병렬 솔버보다 어떻게 비교되는가?
• RQ5 대규모 데이터셋에서 솔루션 품질을 희생시키지 않고도 10개 코어에서 6–8배의 속도 향상을 달성할 수 있는가?

주요 결과

• PASSCoDe-Wild는 모든 데이터셋에서 10개 코어를 사용할 때 가장 좋은 순차 기준(LIBLINEAR DCD)보다 6–8배 빠른 속도 향상을 달성하여 뛰어난 확장성을 입증한다.
• PASSCoDe-Wild는 원자 연산의 오버헤드가 줄어들어 PASSCoDe-Atomic보다 略적으로 더 빠르며, 더 농축된 데이터셋일수록 성능 격차가 커진다.
• AsySCD는 10개 코어를 사용해도 PASSCoDe 및 LIBLINEAR보다 수십만 배 이상 느리며, news20과 같은 작은 데이터셋을 초과할 수 없을 정도로 높은 메모리 사용량으로 인해 확장성이 떨어진다.
• PASSCoDe-Atomic는 약한 조건 하에서도 선형 수렴을 보이며, 이는 이론적 안정성을 입증한다.
• PASSCoDe-Wild는 수정된 정규화자를 가진 원천 문제의 정확한 해로 수렴하므로, 솔루션 품질이 최적에 매우 가까운 것으로 입증된다.
• CoCoA는 초기 정확도에서는 경쟁력 있는 성능를 보이지만, 결국 LIBLINEAR와 동일한 목적 함수 값을 수렴한다. 반면 PASSCoDe는 속도와 최종 목적 함수 값 양면에서 CoCoA를 능가한다.