[논문 리뷰] Worst-case Complexity of Cyclic Coordinate Descent: $O(n^2)$ Gap with Randomized Version

Ruoyu Sun, Yinyu Ye|arXiv (Cornell University)|2016. 04. 25.

Stochastic Gradient Optimization Techniques참고 문헌 52인용 수 18

한 줄 요약

이 논문은 볼록 2차 함수 최소화 문제에서 순환 좌표 하강법(C-CD)이 최악의 경우 랜덤화된 좌표 하강법(R-CD)보다 $Ø(n^2)$배 느릴 수 있음을 입증한다. 조건수 $µ_{ ext{CD}}$를 갖는 특정 예시를 구성함으로써, 저자들은 C-CD가 최소 $Ø(n^4µ_{ ext{CD}} ext{log}rac{1}{
})$ 번의 연산을 필요로 한다고 증명하였으며, R-CD는 $Ø(n^2µ_{ ext{CD}} ext{log}rac{1}{
})$을 달성하여 최악의 경우 $Ø(n^2)$의 격차를 확인한다.

ABSTRACT

This paper concerns the worst-case complexity of cyclic coordinate descent (C-CD) for minimizing a convex quadratic function, which is equivalent to Gauss-Seidel method and can be transformed to Kaczmarz method and projection onto convex sets (POCS). We observe that the known provable complexity of C-CD can be $O(n^2)$ times slower than randomized coordinate descent (R-CD), but no example was rigorously proven to exhibit such a large gap. In this paper we show that the gap indeed exists. We prove that there exists an example for which C-CD takes at least $O(n^4 κ_{ ext{CD}} \log\frac{1}ε)$ operations, where $κ_{ ext{CD}}$ is related to Demmel's condition number and it determines the convergence rate of R-CD. It implies that in the worst case C-CD can indeed be $O(n^2)$ times slower than R-CD, which has complexity $O( n^2 κ_{ ext{CD}} \log\frac{1}ε)$. Note that for this example, the gap exists for any fixed update order, not just a particular order. Based on the example, we establish several almost tight complexity bounds of C-CD for quadratic problems. One difficulty with the analysis is that the spectral radius of a non-symmetric iteration matrix does not necessarily constitute a extit{lower bound} for the convergence rate. An immediate consequence is that for Gauss-Seidel method, Kaczmarz method and POCS, there is also an $O(n^2) $ gap between the cyclic versions and randomized versions (for solving linear systems). We also show that the classical convergence rate of POCS by Smith, Solmon and Wager [1] is always worse and sometimes can be infinitely times worse than our bound.

연구 동기 및 목표

• 순환 및 랜덤화된 좌표 하강법 간 이론적 격차를 철저히 입증함으로써 최악의 복잡도 격차를 메우기 위해.
• 볼록 2차 문제에 대해 순환 CD가 최악의 경우 랜덤화 CD보다 $Ø(n^2)$배 느릴 수 있음을 입증하기 위해.
• 최악의 조건 하에서 순환 CD, 가우스세이델, 카츠마르츠, POCS 방법의 수렴 행동을 분석하기 위해.
• 비대칭 반복 행렬의 스펙트럼 반경이 항상 수렴 속도의 하한을 이룰 수는 없음을 보여주어 고전적 가정을 도전하기 위해.
• 특히 랜덤화된 변형과 비교할 때 순환 CD에 대해 더 날카롭고 정확한 복잡도 경계를 설정하기 위해.

제안 방법

• 최악의 행동을 모델링하기 위해 $c \to 1$로 매개변수화된 볼록 2차 문제의 가족을 구성하기 위해.
• 구조화된 비대각성 항을 갖는 행렬 $A_c$를 사용하여 헤시안을 모델링함으로써 대각성 항이 같고 고유값이 통제될 수 있도록 보장하기 위해.
• 순환 CD의 반복 행렬을 분석하고, $L_{\sigma}$가 하삼각 행렬 요인일 때 $E(L_{\sigma}^{-1})A$의 스펙트럼 성질을 사용하여 기대 오차 노름의 경계를 유도하기 위해.
• 기대 오차의 감쇠율을 결정하는 $E(L_{\sigma}^{-1})A$의 최소 고유값을 통해 수렴 속도 경계를 설정하기 위해.
• 각각의 기대 오차 감쇠율을 분석함으로써 C-CD, R-CD, 랜덤 순서 변경 CD(RPCD)의 수렴 속도를 비교하기 위해.
• asymptotic 분석을 $c \to 1$로 수행하여 C-CD와 R-CD 복잡도 간의 최악의 비율을 유도하고, $\u00d8(n^2)$ 격차를 증명하기 위해.

실험 결과

연구 질문

• RQ1 볼록 2차 문제에 대해 순환 좌표 하강법이 최악의 경우 랜덤화된 좌표 하강법보다 $\u00d8(n^2)$배 느릴 수 있는가?
• RQ2 순환 CD의 비대칭 반복 행렬의 스펙트럼 반경이 항상 수렴 속도의 하한을 이룰 수 있는가?
• RQ3 순환 CD가 $\u00d8(n^4\kappa_{\text{CD}}\log(1/\epsilon))$회의 연산을 필요로 하는 구체적인 예시가 존재하는가? 이는 최악의 경우 격차와 일치한다.
• RQ4 최악의 조건 하에서 가우스세이델, 카츠마르츠, POCS의 수렴 속도는 그 랜덤화된 변형과 비교해 어떻게 되는가?
• RQ5 스미스, 솔몬, 웨거가 제시한 고전적 POCS 수렴 경계가 이 논문에서 유도된 새로운 경계보다 엄격히 열악한가?

주요 결과

• 최소 $\u00d8(n^4\kappa_{\text{CD}}\log\frac{1}{\epsilon})$회의 연산이 필요한 볼록 2차 문제가 존재한다.
• 순환 CD와 랜덤화 CD 간의 최악의 복잡도 격차는 $\u00d8(n^2)$이며, 이 격차는 고정된 업데이트 순서에 대해 날카롭고 증명 가능하다.
• 스미스, 솔몬, 웨거가 제시한 POCS의 고전적 수렴 경계는 엄격히 열악하며, 이 논문에서 유도된 새로운 경계보다 무한히 열악할 수 있다.
• 비대칭 반복 행렬의 스펙트럼 반경이 반드시 수렴 속도를 바운딩하지는 않으며, 이는 일반적인 수렴 분석 가정을 무너뜨린다.
• 동일한 문제에 대해 랜덤화된 좌표 하강법은 $\u00d8(n^2\kappa_{\text{CD}}\log\frac{1}{\epsilon})$의 복잡도를 달성하여 $\u00d8(n^2)$의 격차를 확인한다.
• 분석 결과 최악의 격차는 CD 뿐 아니라 등가 방법인 가우스세이델, 카츠마르츠, POCS에도 존재하며, 이들 모두 순환 업데이트 하에서 동일한 $\u00d8(n^2)$의 저하를 겪는다.