[논문 리뷰] Iteration Complexity Analysis of Block Coordinate Descent Methods

Mingyi Hong, Xiangfeng Wang외 2명|arXiv (Cornell University)|2013. 10. 25.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 33

한 줄 요약

이 논문은 다중 블록 비부드러운 볼록 문제에 대해 블록 순차 상한 최소화(BSUM) 프레임워크 하에서 블록 좌표 감소(BCD) 방법의 통합된 반복 복잡도 분석을 제공하며, 넓은 범위의 다중 블록 비부드러운 볼록 문제들이 전역적으로 하향선형 수렴 속도 O(1/r)를 달성함을 보여준다. 또한 두 블록 문제에 대해 골드먼-세일즈 규칙을 사용할 경우, 각 블록의 강凸성 조건 없이도 향상된 O(1/r²) 수렴 속도를 확립한다.

ABSTRACT

In this paper, we provide a unified iteration complexity analysis for a family of general block coordinate descent (BCD) methods, covering popular methods such as the block coordinate gradient descent (BCGD) and the block coordinate proximal gradient (BCPG), under various different coordinate update rules. We unify these algorithms under the so-called Block Successive Upper-bound Minimization (BSUM) framework, and show that for a broad class of multi-block nonsmooth convex problems, all algorithms covered by the BSUM framework achieve a global sublinear iteration complexity of $O(1/r)$, where r is the iteration index. Moreover, for the case of block coordinate minimization (BCM) where each block is minimized exactly, we establish the sublinear convergence rate of $O(1/r)$ without per block strong convexity assumption. Further, we show that when there are only two blocks of variables, a special BSUM algorithm with Gauss-Seidel rule can be accelerated to achieve an improved rate of $O(1/r^2)$.

연구 동기 및 목표

• 다중 블록 비부드러운 볼록 문제에 대해 다양한 BCD 유형 알고리즘의 수렴 분석을 하나의 프레임워크로 통합하는 것.
• 다양한 업데이트 규칙 하에서 BCGD, BCPG, BCM 등을 포함한 넓은 범위의 BCD 유형 알고리즘에 대해 전역 하향선형 반복 복잡도 O(1/r)를 확립하는 것.
• 각 블록의 강凸성 조건 없이도 BCM이 O(1/r) 수렴 속도를 유지함을 보여, 적용 범위를 넓히는 것.
• 두 블록이 존재할 경우 특별한 BSUM 알고리즘이 골드먼-세일즈 규칙을 통해 향상된 O(1/r²) 수렴 속도를 달성함을 보여주는 것.
• 강凸성 조건이 없는 상한 함수가 존재하는 경우와 랜덤 또는 순열 기반 좌표 선택이 적용되는 경우로 분석을 확장하는 것.

제안 방법

• 저자들은 BCGD, BCPG, BCM을 일반화하는 블록 순차 상한 최소화(BSUM) 프레임워크를 통해 BCD 유형 알고리즘을 통합한다. 이는 목적 함수의 상한을 순차적으로 최소화하는 방식이다.
• 세 단계로 구성된 수렴 분석을 수행한다: (1) 비용 잔여 추정, (2) 하향기울기 변화량의 경계 설정, (3) 오차 항의 합산을 통한 반복 복잡도 유도.
• 두 블록 케이스의 경우 골드먼-세일즈 업데이트의 구조를 활용하여 반복적 점수 간의 차이를 경계함으로써 이차 수렴 속도를 도출한다.
• 수렴을 보장하기 위해 g(·)의 미세함, h_k(·)의 볼록성, 그리고 상한 함수 q_k(·;·)에 대한 규칙성 조건을 활용한다.
• 비강凸성 상한 함수와 랜덤 또는 순열 기반 좌표 선택에 대해서도 결과를 확장하여, O(1/r) 수렴 속도가 유지됨을 보여준다.
• 선형 수렴을 위해, 다각형 에피그래프와 완전 열 랭크 행렬을 포함한 조건 하에서 오차 경계 조건이 성립함을 규명한다.

실험 결과

연구 질문

• RQ1 다양한 BCD 유형 알고리즘에 대해 단일 프레임워크 내에서 통합된 수렴 분석를 개발할 수 있는가?
• RQ2 각 블록의 강凸성 조건 없이도 다중 블록 비부드러운 볼록 문제에 대해 BCD 방법의 전역 반복 복잡도는 무엇인가?
• RQ3 특정 업데이트 규칙(예: 두 블록 케이스에서의 골드먼-세일즈)을 사용할 경우 O(1/r)를 초월한 수렴 속도를 가속화할 수 있는가?
• RQ4 상한 함수가 강凸성이 없을 경우에도 BSUM 알고리즘의 O(1/r) 수렴 속도가 유지되는가?
• RQ5 BCD 방법이 하향선형 수렴이 아닌 선형 수렴을 달성하는 조건은 무엇인가?

주요 결과

• BSUM 프레임워크 하에서 모든 BCD 유형 알고리즘은 다중 블록 비부드러운 볼록 문제에 대해 전역적으로 하향선형 수렴 속도 O(1/r)를 달성한다.
• 블록 좌표 최소화(BCM) 알고리즘은 각 블록의 강凸성 조건 없이도 O(1/r) 수렴 속도를 달성한다.
• 골드먼-세일즈 규칙을 사용하는 두 블록 문제에 대해 특별한 BSUM 알고리즘이 향상된 O(1/r²) 수렴 속도를 달성한다.
• 상한 함수가 강凸성이 없더라도, Assumption B를 만족할 경우 O(1/r) 수렴 속도가 유지된다.
• 랜덤 또는 순열 기반 좌표 선택에 대해서도 분석이 확장되어, 반복 간 고정 순서가 필요 없이도 O(1/r) 수렴 속도가 유지된다.
• Assumption F(다각형 집합, 완전 열 랭크, 구조적 h_k) 조건 하에서 BCM 알고리즘은 오차 경계 조건을 만족함으로써 선형 수렴을 달성한다.