[논문 리뷰] Improved Iteration Complexity Bounds of Cyclic Block Coordinate Descent for Convex Problems

Ruoyu Sun, Mingyi Hong|arXiv (Cornell University)|2015. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 21

한 줄 요약

이 논문은 볼록 문제에 대해 순환 블록 좌표 하강법(Cyclic BCD)의 반복 복잡도 한계를 향상시킨다. 특정 종류의 이차 비미분 문제에 대해 BCD 및 그 프록시미티 변형(BCPG)이 그라디언트 하강법(GD)의 복잡도 한계와 로그²(K) 요소를 제외하고 일치하는 복잡도 한계를 달성함을 보여주며, 이로써 이전의 K배의 격차를 제거한다. 분석은 순환적이고 무작위로 순서를 뒤섞은 BCD 모두에 적용되며, 고정된 업데이트 순서에 의존하지 않고 더 날카운 수렴 보장을 제공한다.

ABSTRACT

The iteration complexity of the block-coordinate descent (BCD) type algorithm has been under extensive investigation. It was recently shown that for convex problems the classical cyclic BCGD (block coordinate gradient descent) achieves an $\\mathcal{O}(1/r)$ complexity ($r$ is the number of passes of all blocks). However, such bounds are at least linearly depend on $K$ (the number of variable blocks), and are at least $K$ times worse than those of the gradient descent (GD) and proximal gradient (PG) methods. In this paper, we aim to close such theoretical performance gap between cyclic BCD and GD/PG. First we show that for a family of quadratic nonsmooth problems, the complexity bounds for cyclic Block Coordinate Proximal Gradient (BCPG), a popular variant of BCD, can match those of the GD/PG in terms of dependency on $K$ (up to a $\\log^2(K)$ factor). For the same family of problems, we also improve the bounds of the classical BCD (with exact block minimization) by an order of $K$. Second, we establish an improved complexity bound of Coordinate Gradient Descent (CGD) for general convex problems which can match that of GD in certain scenarios. Our bounds are sharper than the known bounds as they are always at least $K$ times worse than GD. Our analyses do not depend on the update order of block variables inside each cycle, thus our results also apply to BCD methods with random permutation (random sampling without replacement, another popular variant).

연구 동기 및 목표

• 이전에 K배 이상 더 나쁜 복잡도 한계를 가졌던 순환 블록 좌표 하강법(BCD)과 그라디언트 하강법(GD)/프록시미티 그라디언트(PG) 방법 간의 이론적 성능 격차를 해소하기 위해, K에 대한 선형 의존성으로 인해 최소 K배 더 나쁜 복잡도 한계를 가졌던 문제를 해결한다.
• 이차 비미분 문제의 일군에 대해 순환 BCD와 그 프록시미티 변형(BCPG)의 더 날카운 반복 복잡도 한계를 수립하여, GD/PG 속도와 로그²(K) 요소를 제외하고 일치시킨다.
• 일반 볼록 문제에서 순환 좌표 그라디언트 하강법(CGD)에 대한 일반적인 메타-복잡도 한계를 유도하여, 특정 조건 하에서 GD의 속도를 따라잡을 수 있음을 보여준다.
• 개선된 복잡도 한계가 블록 업데이트 순서에 관계없이 성립함을 보여주어, 무작위로 선택된 순서 없이 블록을 선택하는 랜덤 순서 BCD로도 확장됨을 입증한다.
• 기존 복잡도 한계에서 K배의 격차가 일반적으로 피할 수 없음을 보여주는 날카운 하한 예를 제시하여, 새로운 분석의 날카움을 검증한다.

제안 방법

• 이차 비미분 문제에 대해 순환 BCD와 BCPG를 분석하기 위한 새로운 프레임워크를 제안하며, 헤시안의 스펙트럼 성질과 블록 별 수렴 행동을 활용한다.
• 일반 볼록 문제에서 순환 CGD의 메타-반복 복잡도 한계를 도입하여, '이동하는 반복 헤시안' 행렬의 스펙트럼 노름으로 표현한다.
• 특정 초기점을 사용한 날카운 하한 예를 구성하여, 이전에 존재하던 K배의 복잡도 격차가 일반적으로 피할 수 없음을 보여주며, 새로운 분석의 최적성(optimality)을 입증한다.
• 정확한 블록 최소화(기본적인 BCD)와 그라디언트 단계를 통한 근사 최소화(BCPG)를 모두 적용하여, 다양한 BCD 변형을 통합적으로 다룬다.
• 업데이트 순서에 의존하지 않는 복잡도 한계를 도출하여, 순환 및 랜덤 순서 BCD 모두에 적용 가능함을 입증한다.
• 하한 예제에서 재귀적 업데이트 구조를 활용하여, 한 번의 반복 후 최적성 격차가 K에 비례함을 보여주며, 새로운 상한 복잡도의 날카움을 검증한다.

실험 결과

연구 질문

• RQ1 순환 BCD의 반복 복잡도는 블록 수 K에 대한 로그 요소를 제외하고 그라디언트 하강법(GD)의 복잡도와 일치시킬 수 있는가?
• RQ2 이전 복잡도 한계에서 관찰된 K배의 열악함은 분석의 타협 때문인가, 아니면 방법 자체의 본질적 특성인가?
• RQ3 개선된 복잡도 한계는 비미분 문제에 대해 BCD의 프록시미티 변형(BCPG)로도 확장될 수 있는가?
• RQ4 개선된 복잡도 한계는 순환 선택 외에도 랜덤 순서 선택(random permutation)에도 성립하는가?
• RQ5 일반 볼록 문제에서 CGD의 새로운 복잡도 한계는 기존의 것보다 날카운가, 그리고 이차 경우에 stepsize 1/L를 사용할 때 GD의 속도를 따라잡는가?

주요 결과

• 이차 비미분 문제의 일군에 대해, BCPG의 반복 복잡도는 K에 대한 로그²(K) 요소를 제외하고 O(1/r)로 향상되었으며, GD/PG 속도와 일치한다.
• 정확한 블록 최소화를 사용하는 전통적 순환 BCD는 이전 결과보다 K배 더 나은 복잡도 한계를 달성하여, 이전의 K배 격차를 제거한다.
• 일반적인 미분 가능 볼록 문제에 대해, 순환 CGD의 메타-복잡도 한계는 기존의 것보다 날카우며, 이차 경우에 stepsize 1/L를 사용할 때 GD의 속도를 따라잡는다.
• 개선된 복잡도 한계는 순환 및 랜덤 순서 BCD 모두에 유효하며, 분석이 업데이트 순서에 의존하지 않기 때문이다.
• 특정 초기점을 사용한 날카운 하한 예를 구성하여, 한 번의 반복 후 최적성 격차가 최소 Ω(K) 배의 초기 노름 제곱보다 크다는 것을 보여주며, 새로운 상한 복잡도의 날카움을 입증한다.
• 결과들은 이전의 K배 격차가 느슨한 분석 때문이 아니라 순환 BCD의 본질적 한계였음을 보여주며, 새로운 프레임워크로 이제 해결됨을 시사한다.