[논문 리뷰] Accelerated, Parallel and Proximal Coordinate Descent

Olivier Fercoq, Peter Richtárik|arXiv (Cornell University)|2013. 12. 20.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 44

한 줄 요약

이 논문은 O(1/k²) 수렴 속도를 달성하는 동시에 가속화, 병렬 처리, 프록시 업데이트를 동시에 구현한 첫 번째 스토처스틱 좌표 강하법인 APPROX를 소개한다. 이는 기대 분리 가능한 과거추정(ESO) 기반의 새로운 안전한 큰 스텝사이즈를 사용하여 전체 벡터 연산 없이도 더 빠른 수렴을 가능하게 하며, 희소 구조를 가진 대규모 볼록 최적화 문제에서 성능을 크게 향상시킨다.

ABSTRACT

We propose a new stochastic coordinate descent method for minimizing the sum of convex functions each of which depends on a small number of coordinates only. Our method (APPROX) is simultaneously Accelerated, Parallel and PROXimal; this is the first time such a method is proposed. In the special case when the number of processors is equal to the number of coordinates, the method converges at the rate $2\barω\bar{L} R^2/(k+1)^2 $, where $k$ is the iteration counter, $\barω$ is an average degree of separability of the loss function, $\bar{L}$ is the average of Lipschitz constants associated with the coordinates and individual functions in the sum, and $R$ is the distance of the initial point from the minimizer. We show that the method can be implemented without the need to perform full-dimensional vector operations, which is the major bottleneck of existing accelerated coordinate descent methods. The fact that the method depends on the average degree of separability, and not on the maximum degree of separability, can be attributed to the use of new safe large stepsizes, leading to improved expected separable overapproximation (ESO). These are of independent interest and can be utilized in all existing parallel stochastic coordinate descent algorithms based on the concept of ESO.

연구 동기 및 목표

• 대규모 볼록 최적화 문제를 위해 동시에 가속화, 병렬 처리, 프록시 업데이트를 통합한 좌표 강하법을 개발하는 것.
• 기존 방법들이 이 세 기능 중 하나 이상를 결여하고 있는 한계를 해결하며, 특히 병렬 환경에서의 가속화 프록시 방법의 부재를 해결하는 것.
• 최대 차수 대비 평균 분리 가능성(ω̄)을 활용하여 이전 방법보다 훨씬 더 크고 안전한 스텝사이즈를 설계하는 것.
• 전체 차원의 벡터 연산이 가속화 방법의 주요 병목 현상이 되므로 이를 제거하여 스케일러블성을 높이는 것.
• 실제 데이터셋인 kddb와 악성 URL에서의 수렴 속도와 확장성 측면에서 기존 비가속화 또는 비병렬 대안보다 뛰어난 성능을 입증하는 것.

제안 방법

• Nesterov 스타일의 가속화, 병렬 업데이트, 블록 분리 정규화자에 대한 프록시 연산자를 통합한 스트로스틱 좌표 강하 알고리즘인 APPROX를 제안한다.
• 최대 차수(ω)가 아닌 평균 분리 가능성(ω̄)에 기반한 새로운 기대 분리 가능한 과거추정(ESO) 프레임워크를 도입하여 더 크고 안전한 스텝사이즈를 가능하게 한다.
• 모멘타임과 프록시 단계를 전체 벡터 연산 없이도 수행할 수 있도록 보조 변수(x, y, u, z)를 포함한 삼단계 업데이트 체계를 설계한다.
• 수렴 속도와 계산 비용의 균형을 맞추기 위해 비균일 확률을 사용한 랜덤 블록 선택 전략을 도입한다.
• 희소성과 분리 가능성의 특성을 활용하여 전체 벡터 연산을 피함으로써 대규모 문제에 대한 확장성을 확보한다.
• 수렴을 보장하면서도 각 반복에서의 진전을 극대화하기 위해 선형 탐색 유사 전략을 사용한 스텝사이즈 선택 기법을 구현한다.

실험 결과

연구 질문

• RQ1 O(1/k²) 수렴 속도를 달성하는 동시에 가속화, 병렬 처리, 프록시 업데이트를 동시에 구현한 좌표 강하법을 설계할 수 있는가?
• RQ2 이전의 병렬 방법보다 훨씬 더 큰 스텝사이즈를 평균 과거추정을 사용함으로써 유도할 수 있는가?
• RQ3 전체 벡터 연산 없이도 가속화 방법을 구현할 수 있는가? 이를 통해 대규모 문제에서의 확장성 향상이 가능한가?
• RQ4 실제 희소 데이터셋에서 제안된 방법은 비가속화 또는 비병렬 대안보다 실질적으로 어떻게 성능이 뛰어나게 되는가?
• RQ5 최대 분리 가능성(ω) 대비 평균 분리 가능성(ω̄)을 사용할 경우, 실질적으로 수렴 속도가 증가하는가를 증명할 수 있는가?

주요 결과

• APPROX는 강화된 방법에서 알려진 최상의 수렴 속도인 O(1/k²)를 달성하며, 강한 볼록이 아닌 경우에도 동일하게 성립한다.
• kddb 데이터셋에서, 초기 반복 이후 PCDM는 각 반복 비용이 저렴하지만 수렴 속도가 느리므로 APPROX가 뒤처지지 않고 앞서나간다.
• 악성 URL 데이터셋에서, APPROX는 SDCA 대비 이중성 갭을 약 2배 더 빠르게 감소시키며, 수렴 시간에서 2배의 성능 향상을 달성한다.
• 수렴 속도는 2ω̄L̄R²/(k+1)²로 표현되며, 여기서 ω̄는 평균 분리 가능성, L̄는 평균 리프시츠 상수, R은 최소화자까지의 초기 거리이다.
• 제안된 ESO 기반 스텝사이즈는 특히 ω̄ ≪ ω일 경우 이전 방법보다 훨씬 더 크고 안전한 스텝사이즈를 가능하게 하여 더 빠른 수렴을 이끈다.
• 알고리즘은 전체 벡터 연산을 피함으로써, 이러한 연산이 주요 병목 현상이 되는 희소 대규모 문제에서 매우 효율적이다.