[논문 리뷰] On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization

Xingguo Li, Tuo Zhao외 3명|arXiv (Cornell University)|2016. 07. 10.

Advanced Optimization Algorithms Research참고 문헌 37인용 수 4

한 줄 요약

이 논문은 강凸 최소화 문제에서 순환 블록 좌표 강하(CBCD) 유형 알고리즘에 대한 향상된 수렴 분석을 제안하며, 반복 복잡도가 O(log²p · log(1/ϵ))임을 보여주어 그래디언트 강하와 비슷한 복잡도를 가지며, 이론적 격차를 메운다. 분석은 이차 문제에 적용되며, 고정된 헤시안 고유값 스케일링 조건 하에서 일반화된 비이차 케이스로 확장되며, 하한을 통한 타당성 확인이 이루어진다.

ABSTRACT

The cyclic block coordinate descent-type (CBCD-type) methods, which performs iterative updates for a few coordinates (a block) simultaneously throughout the procedure, have shown remarkable computational performance for solving strongly convex minimization problems. Typical applications include many popular statistical machine learning methods such as elastic-net regression, ridge penalized logistic regression, and sparse additive regression. Existing optimization literature has shown that for strongly convex minimization, the CBCD-type methods attain iteration complexity of $\mathcal{O}(p\log(1/ε))$, where $ε$ is a pre-specified accuracy of the objective value, and $p$ is the number of blocks. However, such iteration complexity explicitly depends on $p$, and therefore is at least $p$ times worse than the complexity $\mathcal{O}(\log(1/ε))$ of gradient descent (GD) methods. To bridge this theoretical gap, we propose an improved convergence analysis for the CBCD-type methods. In particular, we first show that for a family of quadratic minimization problems, the iteration complexity $\mathcal{O}(\log^2(p)\cdot\log(1/ε))$ of the CBCD-type methods matches that of the GD methods in term of dependency on $p$, up to a $\log^2 p$ factor. Thus our complexity bounds are sharper than the existing bounds by at least a factor of $p/\log^2(p)$. We also provide a lower bound to confirm that our improved complexity bounds are tight (up to a $\log^2 (p)$ factor), under the assumption that the largest and smallest eigenvalues of the Hessian matrix do not scale with $p$. Finally, we generalize our analysis to other strongly convex minimization problems beyond quadratic ones.

연구 동기 및 목표

• 강凸 문제에 대해 CBCD 유형 알고리즘과 그래디언트 강하 간의 반복 복잡도 이론적 격차를 해결한다.
• 블록 수 p에 직접적으로 의존하는 기존의 O(p log(1/ϵ)) 복잡도 상한을 극복한다.
• 헤시안 고유값에 대한 현실적인 가정 하에서 CBCD 유형 알고리즘의 더 타당한 수렴 상한을 수립한다.
• 고정된 극단적 고유값 스케일링 조건 하에서 하한을 통해 향상된 복잡도의 타당성을 확인한다.
• 이차 문제를 초월하여 더 넓은 강凸 최소화 문제 계열로 향상된 복잡도 상한을 일반화한다.

제안 방법

• 이차 최소화 문제에 적용된 CBCD 유형 알고리즘에 대한 정교한 수렴 분석을 제안한다.
• 헤시안의 최대 및 최소 고유값이 p에 따라 스케일링되지 않는다고 가정할 때 CBCD 유형 알고리즘의 반복 복잡도를 분석한다.
• ϵ-정확도를 달성하기 위한 반복 수에 대해 개선된 상한 O(log²p · log(1/ϵ))을 유도한다.
• 삼중대각 토플리츠 행렬을 사용한 하한 예제를 구성하여, 개선된 상한이 로그 제곱 p 요소를 제외하고는 타당함을 입증한다.
• 수렴 프레임워크를 확장하여 비이차, 강凸 최소화 문제로 분석을 일반화한다.
• 특정 초기 조건과 반복 업데이트 규칙을 사용하여 악성 경우에서의 느린 수렴을 시연함으로써 하한을 검증한다.

실험 결과

연구 질문

• RQ1 CBCD 유형 알고리즘의 반복 복잡도는 그래디언트 강하와 로그 요소를 제외하고 일치시킬 수 있는가?
• RQ2 CBCD 유형 알고리즘에 대한 O(p log(1/ϵ)) 복잡도 상한은 타당한가, 아니면 크게 향상시킬 수 있는가?
• RQ3 헤시안 고유값이 p에 대해 고정되어 있을 때 CBCD 수렴에 블록 수 p의 영향은 어떻게 되는가?
• RQ4 향상된 복잡도 상한은 이차 문제를 초월하여 다른 강凸 최소화 문제에 일반화될 수 있는가?
• RQ5 다양한 문제 조건 하에서 CBCD 유형 알고리즘의 성능은 실제로 그래디언트 및 랜덤라이즈드 BCD 방법과 어떻게 비교되는가?

주요 결과

• 이차 문제에 대한 CBCD 유형 알고리즘의 반복 복잡도는 O(log²p · log(1/ϵ))로 향상되었으며, 이는 그래디언트 강하의 복잡도와 로그 제곱 p 요소를 제외하고 일치한다.
• 삼중대각 토플리츠 행렬을 사용한 하한 구성으로, 개선된 복잡도 상한이 로그 제곱 p 요소를 제외하고는 타당함이 입증되었다.
• 하한 예제는 한 번의 반복 후 목적 함수 갭이 초기 노름 갭의 일정 비율 이하로 제한될 수 있음을 보여주며, 일반적으로 p에 독립적인 수렴은 불가능하다는 것을 시사한다.
• 분석은 헤시안의 최대 및 최소 고유값이 p에 따라 스케일링되지 않는 것이 개선된 복잡도가 성립하기 위한 필수 조건임을 확인한다.
• 실험 결과는 이론적 복잡도 상한이 예상하는 바와는 달리 CBCD 유형 알고리즘이 실제로 그래디언트 방법을 능가할 수 있음을 보여준다.
• 순열 기반 BCD 방법은 잘 조절된 문제와 악조건 문제 모두에서 안정적인 성능을 보였지만, 본 연구에서는 이러한 방법에 대한 이론적 복잡도 상한을 설정하지는 않았다.