[논문 리뷰] On the Finite Time Convergence of Cyclic Coordinate Descent Methods

Ankan Saha, Ambuj Tewari|arXiv (Cornell University)|2010. 05. 12.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 26

한 줄 요약

이 논문은 $\nabla f$-Lipschitz 연속, $\nabla f$-등방성, $\nabla f$-Lipschitz-연속, 및 $\nabla f$-등방성 문제에 대해 순환 좌표 하강(CC D) 및 순환 좌표 최소화(C CM) 방법의 최초 유한 시간 $O(1/k)$ 수렴 속도를 확립한다. 초과해결가 가정 하에 CCD와 CCM 반복값을 경사 하강(GD)과 비교함으로써, 이 논문은 동일 조건 하에서 GD가 가지는 $O(1/k)$ 속도를 유지함을 증명한다. 즉, 모든 반복 단계에서 CCD와 CCM은 GD보다 더 나은 목적 함수 값을 유지한다.

ABSTRACT

Cyclic coordinate descent is a classic optimization method that has witnessed a resurgence of interest in machine learning. Reasons for this include its simplicity, speed and stability, as well as its competitive performance on $\ell_1$ regularized smooth optimization problems. Surprisingly, very little is known about its finite time convergence behavior on these problems. Most existing results either just prove convergence or provide asymptotic rates. We fill this gap in the literature by proving $O(1/k)$ convergence rates (where $k$ is the iteration counter) for two variants of cyclic coordinate descent under an isotonicity assumption. Our analysis proceeds by comparing the objective values attained by the two variants with each other, as well as with the gradient descent algorithm. We show that the iterates generated by the cyclic coordinate descent methods remain better than those of gradient descent uniformly over time.

연구 동기 및 목표

• 이전에 비대칭 수렴 속도가 없는 부드러운 문제조차도 포함하여 순환 좌표 하강(CC D) 방법의 유한 시간 수렴 분석에 대한 이론적 격차를 메우기 위해.
• 목적 함수의 그래디언트에 대한 부드러움과 등방성 조건 하에서 CC D의 두 변종인 CC D와 CCM에 대해 $O(1/k)$ 수렴 속도를 확립하기 위해.
• CC D와 CCM의 반복값을 직접적으로 경사 하강(GD)의 반복값과 비교하여, 모든 반복 단계에서 CC D와 CCM이 항상 더 나은 목적 함수 값을 유지함을 보이기 위해.
• 기존에 알려진 GD의 $O(1/k)$ 수렴 보장 조건을 활용하여 비교 정리에 기반해 CC D와 CCM에 동일한 수렴 속도를 유도하기 위해.
• 유한 시간 수렴 결과를 가능하게 하는 조건—특히 $\mathbf{I} - \nabla f/L$에 대한 초과해결가 및 등방성 조건—을 규명하고 분석하기 위해.

제안 방법

• 최적화 문제를 $\min_{x \in \mathbb{R}^d} F(x) = f(x) + \lambda \|x\|_1$ 로 정의하며, 여기서 $f$ 는 $L$-Lipschitz 연속 그래디언트를 가진다.
• 초과해결가의 개념을 도입한다: 점 $x$ 가 $x \geq S_{\lambda/L}(x - \nabla f(x)/L)$ 를 만족할 경우, 이는 프록시멀 연산자가 목적 함수를 증가시키지 않음을 보장한다.
• 초기 반복값이 초과해결가이면, 이후 모든 CCD 및 CCM 반복값도 초과해결가임을 증명하여 비교 구조를 유지한다.
• 비교 정리 수립: 동일한 초과해결가 초기값을 가질 경우, 모든 $k \geq 1$ 에 대해 $F(\text{CCD}_k) \leq F(\text{CCM}_k) \leq F(\text{GD}_k)$ 를 유도하며, 이는 $\mathbf{I} - \nabla f/L$ 의 등방성 조건을 활용한다.
• 기존에 알려진 경사 하강(GD)의 $O(1/k)$ 수렴 속도(정리 2)를 활용하여, 동일한 조건 하에서 CC D와 CCM도 $O(1/k)$ 수렴을 달성함을 결론짓는다.
• 스칼라 스hrinkage 연산자 $S_{\lambda/L}(\cdot)$ 를 사용하여 프록시멀 업데이트를 특성화하고, 각 좌표에 대해 세 가지 경우를 분석하여 초과해결가 성질을 검증한다.

실험 결과

연구 질문

• RQ1 부드럽고 볼록하며 $\nabla f$-등방성 문제에서 $\nabla f$-Lipschitz 연속성을 만족하는 경우, 순환 좌표 하강(CC D)에 대해 유한 시간 $O(1/k)$ 수렴 속도를 확립할 수 있는가?
• RQ2 CC D와 CCM의 반복값은 시간이 지남에 따라 목적 함수 값 변화 측면에서 경사 하강(GD)의 반복값과 어떻게 비교되는가?
• RQ3 초기 조건(예: 초과해결가)이 어떤 경우에 CC D와 CCM이 최적화 과정 전반에 걸쳐 GD보다 더 나은 목적 함수 값을 유지하는가?
• RQ4 $\mathbf{I} - \nabla f/L$ 의 등방성 조건이 CC D와 CCM에 대한 유한 시간 수렴 보장 가능성을 어떻게 높이는가?
• RQ5 동일한 조건 하에서 GD의 $O(1/k)$ 수렴 속도가 비교 정리에 의해 CC D와 CCM에 유전될 수 있는가?

주요 결과

• 논문은 초과해결가 가정과 $\mathbf{I} - \nabla f/L$ 의 등방성 조건 하에서, CC D와 CCM이 모두 $O(1/k)$ 유한 시간 수렴 속도를 달성함을 증명한다.
• 모든 $k \geq 1$ 에 대해 CCM 반복값의 목적 함수 값은 $F(z^{(k)}) \leq F(x^{(k)}) \leq F(x^*) + \frac{L\|x^* - x^{(0)}\|^2}{2k}$ 를 만족하며, 이는 GD의 속도와 정확히 일치한다.
• CC D와 CCM 반복값은 모든 반복 단계 $k$ 에서 GD 반복값보다 항상 더 나은 목적 함수 값을 유지한다. 즉, 모든 $k \geq 1$ 에 대해 $F(y^{(k)}) \leq F(x^{(k)})$ 이다.
• CC D와 CCM에서 초과해결가 성질이 반복 과정 전반에 걸쳐 유지되어, 수렴 속도 유도의 기초가 되는 비교 논리가 유지된다.
• $\mathbf{I} - \nabla f/L$ 에 대한 등방성 가정은 비교 정리에 필수적이며, 수치 최적화 분야에서 알려져 있지만 제한적인 조건이다.
• 이 결과들은 부드럽고 $\nabla f$-등방성 문제에 대해 순환 좌표 하강(CC D)에 대한 최초의 유한 시간 수렴 보장이며, 문헌에서 중요한 이론적 격차를 메운다.