[논문 리뷰] Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection

Julie Nutini, Mark Schmidt외 3명|arXiv (Cornell University)|2015. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 93

한 줄 요약

이 논문은 표준적인 미세 조건과 강한 볼록성 조건 하에서, 기존 이론적 결과가 등가성을 시사하는 바와는 달리, 좌표 감소(coordinate descent)에서 가우스-서던웰(Gauss-Southwell, GS) 규칙이 무작위 선택보다 빠르게 수렴함을 보여준다. 이는 경계의 기울기 리프시츠 상수를 활용한 GS-Lipschitz(GSL) 규칙을 도입하고, 특히 정확한 좌표 최적화를 수행할 때 희소 문제에서 더 빠른 수렴 속도를 보임을 증명하며, 근사 및 프록시미멀 변형의 분석도 수행한다.

ABSTRACT

There has been significant recent work on the theory and application of randomized coordinate descent algorithms, beginning with the work of Nesterov [SIAM J. Optim., 22(2), 2012], who showed that a random-coordinate selection rule achieves the same convergence rate as the Gauss-Southwell selection rule. This result suggests that we should never use the Gauss-Southwell rule, as it is typically much more expensive than random selection. However, the empirical behaviours of these algorithms contradict this theoretical result: in applications where the computational costs of the selection rules are comparable, the Gauss-Southwell selection rule tends to perform substantially better than random coordinate selection. We give a simple analysis of the Gauss-Southwell rule showing that---except in extreme cases---its convergence rate is faster than choosing random coordinates. Further, in this work we (i) show that exact coordinate optimization improves the convergence rate for certain sparse problems, (ii) propose a Gauss-Southwell-Lipschitz rule that gives an even faster convergence rate given knowledge of the Lipschitz constants of the partial derivatives, (iii) analyze the effect of approximate Gauss-Southwell rules, and (iv) analyze proximal-gradient variants of the Gauss-Southwell rule.

연구 동기 및 목표

• 좌표 감소에서 가우스-서던웰(GS) 규칙이 무작위 좌표 선택보다 경험적으로 우월함에도 불구하고 이론적으로는 등가성을 주장하는 이론적 결과와의 괴리 문제를 해결하기 위해.
• 일반적인 경우를 제외한 특수한 경우를 제외하고, GS가 무작위 선택보다 더 빠르게 수렴함을 보여주는 더 날카운 이론적 분석을 제공하기 위해.
• 희소 제약 조건 하에서 정확한 좌표 최적화에 대해 증명 가능한 수렴 속도 향상을 확립하기 위해.
• 기존의 경계 기울기 리프시츠 상수를 활용하여 더 빠른 수렴을 달성하는 가우스-서던웰-리프시츠(GSL) 규칙을 개발하고 분석하기 위해.
• 비미세, 분리 가능한 정규화 항을 포함한 문제에 대해 근사 GS 규칙과 프록시미털-그라디언트 변형의 성능을 연구하기 위해.

제안 방법

• 강한 볼록성과 미세 조건 하에서 GS 규칙의 더 날카운 수렴 분석을 제안하여, 열악한 경우를 제외하고는 무작위 선택보다 우월함을 보여준다.
• 국소적 리프시츠 상수를 활용해 부분 기울기의 선택 기준으로 사용하는 가우스-서던웰-리프시츠(GSL) 규칙을 도입하여 수렴 속도를 가속화한다.
• 희소 문제에서 정확한 좌표 최적화를 분석하여, 일정한 스텝 사이즈 업데이트보다 더 빠른 수렴 속도를 증명한다.
• 계산 비용과 수렴 속도의 균형을 고려한 근사 GS 규칙을 개발하고 평가한다.
• ℓ1 정규화와 같은 비미세, 분리 가능한 항을 포함한 문제에 대해 프록시미털-그라디언트 방법으로 GS 규칙을 확장한다.
• 희소 그래프에서 차수의 상한이 존재하는 경우, 최대 힙(max-heap) 데이터 구조를 사용해 GS를 효율적으로 구현하여 선택 시 복잡도를 O(d log n)로 유지한다.

실험 결과

연구 질문

• RQ1 실제로 가우스-서던웰 규칙이 무작위 좌표 선택보다 수렴 속도가 더 빠른가? 이는 이론적으로도 정당화될 수 있는가?
• RQ2 희소 문제에서 정확한 좌표 최적화가 일정한 스텝 사이즈 업데이트보다 증명 가능한 더 빠른 수렴 속도를 제공할 수 있는가?
• RQ3 선택 규칙에 경계 기울기 리프시츠 상수를 통합하면, 표준 GS나 무작위 선택보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 근사 GS 규칙은 정확한 버전과 무작위 버전에 비해 성능과 수렴 속도에서 어떻게 비교되는가?
• RQ5 비미세, 분리 가능한 정규화 항을 포함한 문제에 대해 GS 규칙을 프록시미털-그라디언트 방법으로 효과적으로 확장할 수 있는가?

주요 결과

• 표준적인 미세 조건과 강한 볼록성 조건 하에서, 이전 이론적 결과가 등가성을 주장하는 바와는 달리, 가우스-서던웰(GS) 규칙이 무작위 선택보다 더 빠르게 수렴한다.
• 희소 제약 조건을 만족하는 문제에서 정확한 좌표 최적화는 일정한 스텝 사이즈 업데이트보다 증명 가능한 더 빠른 수렴 속도를 보인다.
• 제안된 가우스-서던웰-리프시츠(GSL) 규칙은 알려진 경계 기울기 리프시츠 상수를 활용하여, 무작위 선택과 표준 GS 규칙보다 더 빠른 수렴 속도를 달성한다.
• 수치 실험 결과, GS 및 GSL 규칙은 난이도 높은 파이썬 구현을 사용하더라도 무작위 선택 대비 런타임 단위 시간당 더 빠른 목적 함수 감소를 달성했다.
• GS-qr 및 GS-qs 규칙는 이론적 수렴 경계를 만족하지만, GS-r 규칙은 그렇지 않으며, 이는 업데이트 규칙의 선택이 수렴 행동에 상당한 영향을 미친다는 것을 시사한다.
• 근사 GS 규칙은 정확한 GS보다 계산 비용이 낮고 무작위 선택보다 성능이 뛰어나, 실용적인 중간 지점으로서 타당하다.