[논문 리뷰] A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity

Robert Hannah, Fei Feng외 1명|arXiv (Cornell University)|2018. 03. 15.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 8

한 줄 요약

이 논문은 최적의 반복 복잡도를 갖는 첫 번째 이방형 Nesterov 가속 블록 좌표 강하 알고리즘인 A2BCD를 제안한다. 이 알고리즘은 유한한 지연을 수용하면서도 NU_ACDM과 동일한 가속화된 수렴 속도를 달성하여 오래된 정보에 대한 복잡도 손실이 없음을 증명하고, 수치 실험에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, we propose the Asynchronous Accelerated Nonuniform Randomized Block Coordinate Descent algorithm (A2BCD), the first asynchronous Nesterov-accelerated algorithm that achieves optimal complexity. This parallel algorithm solves the unconstrained convex minimization problem, using p computing nodes which compute updates to shared solution vectors, in an asynchronous fashion with no central coordination. Nodes in asynchronous algorithms do not wait for updates from other nodes before starting a new iteration, but simply compute updates using the most recent solution information available. This allows them to complete iterations much faster than traditional ones, especially at scale, by eliminating the costly synchronization penalty of traditional algorithms. We first prove that A2BCD converges linearly to a solution with a fast accelerated rate that matches the recently proposed NU_ACDM, so long as the maximum delay is not too large. Somewhat surprisingly, A2BCD pays no complexity penalty for using outdated information. We then prove lower complexity bounds for randomized coordinate descent methods, which show that A2BCD (and hence NU_ACDM) has optimal complexity to within a constant factor. We confirm with numerical experiments that A2BCD outperforms NU_ACDM, which is the current fastest coordinate descent algorithm, even at small scale. We also derive and analyze a second-order ordinary differential equation, which is the continuous-time limit of our algorithm, and prove it converges linearly to a solution with a similar accelerated rate.

연구 동기 및 목표

• 오래된 정보를 사용하더라도 최적의 수렴 복잡도를 유지하는 이방형, 가속 블록 좌표 강하 알고리즘을 개발하는 것.
• 이방형 Nesterov 가속화의 이론적 격차를 메우기 위해 최적 속도로 선형 수렴을 증명하는 것.
• 이방형 업데이트가 유한한 지연 조건 하에서도 복잡도 손실을 초래하지 않음을 입증하는 것.
• A2BCD의 동역학을 기술하는 연속 시간 상 미분방정식 모델을 유도하고 분석하는 것.
• 다양한 규모에서의 수치 실험을 통해 알고리즘의 우수성을 검증하는 것.

제안 방법

• A2BCD는 공유된 해 벡터 $x$, $y$, $z$를 포함하는 삼변수 업데이트 체계를 도입하여 NU_ACDM을 이방형 환경으로 확장한다. 이는 지연된 기울기 정보를 활용한다.
• 블록 리프시츠 상수 $L_i$에 기반한 무작위로 비균일한 블록 블록 선택을 통해 가속 수렴을 가능하게 한다.
• 핵심 혁신은 외삽과 평균화를 포함하는 이중 가속화 체계를 도입한 것으로, 새로운 리아푸노프 함수 분석을 통해 이방형 환경에 적응시켰다.
• 공유 메모리에서 효율적인 희소 업데이트를 가능하게 하기 위해 행렬 $C^k$와 보조 변수 $p_k$, $q_k$를 사용하는 희소화 변환을 통합한다.
• A2BCD의 극한으로 연속 시간 상 미분방정식 모델을 도출하였으며, 이는 가속화된 속도로 선형 수렴함을 증명하였다.
• 효율적인 공유 메모리 구현을 설계하였으며, 보조 변수를 유지하기 위해 $y^k$와 $v^k$를 주기적으로 복구함으로써 수치 안정성을 확보하였다.

실험 결과

연구 질문

• RQ1 Nesterov 유형의 가속화는 수렴 복잡도를 희생시키지 않고 이방형 블록 좌표 강하 환경으로 성공적으로 확장될 수 있는가?
• RQ2 이방형 환경에서 오래된 기울기 정보를 사용할 경우 수렴 속도 측면에서 복잡도 손실이 발생하는가?
• RQ3 A2BCD의 수렴 속도는 상수 요소 내에서 최적이며, NU_ACDM과 비교해 볼 때 어떻게 다른가?
• RQ4 A2BCD에 대해 그 수렴 동역학을 기술하는 연속 시간 상 미분방정식 모델을 유도할 수 있는가? 그리고 이 모델이 선형 수렴을 증명할 수 있는가?
• RQ5 A2BCD는 동기화 오버헤드가 줄어들어 소규모에서도 NU_ACDM을 실질적으로 능가하는가?

주요 결과

• A2BCD는 NU_ACDM와 동일한 가속화된 속도로 선형 수렴을 달성하며, 이는 이방형 업데이트가 최적의 복잡도 한계를 떨어뜨리지 않음을 증명한다.
• 유한 최대 지연 조건 하에서도 알고리즘이 최적의 복잡도를 상수 요소 내에서 유지함으로써, 이방형성에 따른 복잡도 손실이 없음을 입증한다.
• 수치 실험 결과 A2BCD는 동기화 오버헤드가 줄어들어 소규모에서도 NU_ACDM보다 수렴 속도가 더 빠름을 확인하였다.
• A2BCD의 연속 시간 ODE 극한은 비슷한 가속화된 속도로 선형 수렴함을 보이며, 알고리즘의 동역학적 안정성을 검증하였다.
• 효율적인 공유 메모리 구현이 제안되었으며, 희소 업데이트와 주기적 변수 복구를 통해 정확성과 성능 유지를 달성하였다.
• 이론적 분석을 통해 주어진 가정 하에 A2BCD의 수렴 속도가 무작위 블록 좌표 강하 방법에 대해 최적이 됨을 입증하였다.