[논문 리뷰] An Asynchronous Parallel Stochastic Coordinate Descent Algorithm

Ji Liu, Steve Wright외 3명|arXiv (Cornell University)|2013. 11. 08.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 147

한 줄 요약

이 논문은 볼록 최적화를 위한 이방성 병렬 확률적 좌표 강하(AsySCD) 알고리즘을 제안하며, 필수 강볼록성 조건 하에서 선형 수렴를 달성하고 일반 볼록 함수에 대해서는 $1/K$의 하위선형 수렴를 보인다. 이 방법은 비동기 업데이트와 유한 지연을 고려할 때, 프로세서 수가 $O(n^{1/2})$ 이하인 무제약 설정과 $O(n^{1/4})$ 이하인 분리 가능한 제약 설정에서 다중코어 시스템에서 거의 선형적 성능 향상을 달성한다.

ABSTRACT

We describe an asynchronous parallel stochastic coordinate descent algorithm for minimizing smooth unconstrained or separably constrained functions. The method achieves a linear convergence rate on functions that satisfy an essential strong convexity property and a sublinear rate ($1/K$) on general convex functions. Near-linear speedup on a multicore system can be expected if the number of processors is $O(n^{1/2})$ in unconstrained optimization and $O(n^{1/4})$ in the separable-constrained case, where $n$ is the number of variables. We describe results from implementation on 40-core processors.

연구 동기 및 목표

• 기계 학습 및 데이터 분석에서 발생하는 대규모 볼록 문제를 위한 확장성 있고 비동기 병렬 최적화 알고리즘을 설계하기 위해.
• 비동기 업데이트와 유한 지연 하에서 수렴 보장을 확립하기 위해 — 필수 강볼록성 조건 하에서는 선형 수렴, 일반 볼록 함수에 대해서는 하위선형 수렴.
• 문제 차원 $n$과 지연 매개변수 $\tau$의 관점에서 거의 선형적 성능 향상을 달성하기 위한 이론적 조건을 도출하기 위해.
• 40코어 시스템에서 알고리즘의 성능을 실증적으로 검증하여 실용적 확장성과 효율성을 입증하기 위해.

제안 방법

• 알고리즘은 무작위로 좌표 $i$를 선택하고, $x_i$를 상수 단계 크기의 $i$-번째 부분미분 $\nabla_i f(x)$ 배수로 업데이트함으로써 확률적 좌표 강하를 수행한다.
• 다중 코어에서 동기화 없이 비동기적으로 업데이트를 수행하며, 사용하는 기울기 정보의 나이에 대해 유한 지연 $\tau$를 고려한다.
• 분리 가능한 제약 조건이 있는 경우, 업데이트는 탇합 집합 $\Omega_i$로 다시 투영되어 타당성을 유지한다.
• 수렴 분석은 조건 (3)에 기반한 필수 강볼록성 조건을 사용하며, 이는 표준 강볼록성보다 약한 조건이지만 유일한 해 집합이 아닐 수 있음을 허용한다.
• 핵심 이론적 경계는 제한된 리프시츠 상수 $L_{\text{res}}$, 좌표 리프시츠 상수 $L_i$, 최대 리프시츠 상수 $L_{\max}$를 포함한다.
• 수렴 분석을 위해 거리와 목적 함수 갭을 조합한 리아푸노프 함수를 구성하며, 이는 수렴 속도를 확립하는 압축 부등식을 이끌어낸다.

실험 결과

연구 질문

• RQ1 표준 강볼록성보다 더 약한 볼록성 조건 하에서 비동기 확률적 좌표 강하 방법이 선형 수렴를 달성할 수 있는가?
• RQ2 성능 향상이 감소하기 시작하는 최대 프로세서 수는 얼마이며, 이는 문제 차원 $n$에 어떻게 의존하는가?
• RQ3 유한 지연 $\tau$는 비동기 좌표 강하에서 수렴 속도와 병렬 효율성에 어떤 영향을 미치는가?
• RQ4 현대 다중코어 아키텍처에서 실질적으로 거의 선형적 성능 향상을 달성할 수 있는가?
• RQ5 좌표별 리프시츠 상수와 헤시안 행렬의 구조는 높은 병렬성을 가능하게 하는가?

주요 결과

• 필수 강볼록성 조건 하에서 알고리즘은 $O((1 - \frac{l}{n(l + \gamma^{-1}L_{\max})})^K)$의 선형 수렴 속도를 달성한다. 여기서 $l$은 강볼록성 매개변수이다.
• 일반 볼록 함수에 대해서는 $O(1/K)$의 하위선형 수렴 속도를 보이며, 이는 순차적 확률적 방법의 기존 결과와 일치한다.
• 무제약 설정에서는 프로세서 수가 $O(n^{1/2})$ 이하일 때, 분리 가능한 제약 설정에서는 $O(n^{1/4})$ 이하일 때 거의 선형적 성능 향상이 달성된다.
• 40코어 시스템에서의 실증 결과는 이론적 성능 향상 경향을 확인하고 고도의 비동기 상태에서도 견고한 성능을 보여준다.
• 헤시안 행렬이 거의 대각형일 경우에도 알고리즘이 효과적으로 작동함을 통해 좌표 간 상호작용에 대해 매우 높은 내성성을 보인다.
• 스텝 크기 $\gamma = 1/2$는 수렴을 위한 이론적 조건을 충족하며, 이 선택 하에서 리아푸노프 함수의 유계성을 분석을 통해 입증한다.