[논문 리뷰] On the Complexity Analysis of Randomized Block-Coordinate Descent Methods

Zhaosong Lu, Lin Xiao|arXiv (Cornell University)|2013. 05. 21.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 23

한 줄 요약

이 논문은 복합 볼록 최적화를 위한 랜덤화 블록좌표강하(RBCD) 방법에 대한 정교한 복잡도 분석을 제시하며, 네스테로프의 기법을 확장하여 기대값 수렴 속도와 고확률 반복 복잡도를 향상시킨다. 새로운 랜덤화 추정 수열 기법을 도입하여 가속 RBCD를 분석함으로써 이전 연구보다 더 날카운 수렴 한계를 달성하였으며, 특히 고확률 복잡도를 $O(n/\theta)$만큼 향상시켰다. 여기서 $ heta$는 목표 정확도이고 $n$은 블록 수이다.

ABSTRACT

In this paper we analyze the randomized block-coordinate descent (RBCD) methods proposed in [8,11] for minimizing the sum of a smooth convex function and a block-separable convex function. In particular, we extend Nesterov's technique developed in [8] for analyzing the RBCD method for minimizing a smooth convex function over a block-separable closed convex set to the aforementioned more general problem and obtain a sharper expected-value type of convergence rate than the one implied in [11]. Also, we obtain a better high-probability type of iteration complexity, which improves upon the one in [11] by at least the amount $O(n/ε)$, where $ε$ is the target solution accuracy and $n$ is the number of problem blocks. In addition, for unconstrained smooth convex minimization, we develop a new technique called {\it randomized estimate sequence} to analyze the accelerated RBCD method proposed by Nesterov [11] and establish a sharper expected-value type of convergence rate than the one given in [11].

연구 동기 및 목표

• 부드러운 볼록 함수와 블록분리형 볼록 함수의 합을 최소화하기 위한 랜덤화 블록좌표강하(RBCD) 방법의 기대값 수렴 속도를 향상시키는 것.
• RBCD의 더 날카운 고확률 반복 복잡도를 확립하여 기존의 한계보다 $O(n/\epsilon)$만큼 향상시키는 것. 여기서 $\epsilon$은 목표 정확도이고 $n$은 블록 수이다.
• 새로운 랜덤화 추정 수열 프레임워크를 사용하여 네스테로프의 가속 RBCD 기법을 복합 문제로 확장하는 것.
• 일반적인 블록분리형 구조 하에서 비가속형과 가속형 RBCD 변형에 대한 수렴 분석을 통합하고 날카럽게 다지는 것.
• 특히 지표 함수나 $\ell_1$-정규화를 포함한 문제에서 균일 선택 전략과 비균일 선택 전략 간의 수렴 속도 날카움의 격차를 해결하는 것.

제안 방법

• 블록분리형 집합 위에서 부드러운 볼록 최소화 문제에 대한 네스테로프의 분석 기법을 부드러운 함수와 블록분리형 정규화항을 포함하는 복합 문제로 확장하는 것.
• 가속 RBCD를 분석하기 위해 랜덤화 추정 수열 프레임워크를 도입하여 더 날카운 기대값 수렴 속도 한계를 도출하는 것.
• 각 반복에서 블록을 균일하게 랜덤으로 선택하고, 국소 기울기와 리프시츠 상수 $L_i$를 포함한 프록시멀 하위문제를 통해 업데이트하는 확률적 업데이트 규칙을 사용하는 것.
• 조건부 기대값과 볼록성을 활용하여 최적성 갭의 감쇠를 제한하기 위해 기대 이중 갭 $\phi_k^\star$에 대한 재귀 관계를 유도하는 것.
• 모멘타ム를 제어하고 오차 항의 기하급수 감쇠율을 도출하기 위해 $\alpha_k^2 = \gamma_{k+1}$를 만족하는 수열 $\gamma_k$를 적용하는 것.
• 기대값 수렴 속도를 확립하기 위해 $\|d(y^k)\|_L^2$와 $\langle \nabla f(y^k), v^k - y^k \rangle$를 포함한 부등식과 귀납법을 사용하는 것.

실험 결과

연구 질문

• RQ1 네스테로프의 가속 RBCD 기법은 블록분리형 정규화항을 포함하는 복합 문제로 확장될 수 있으며, 어떤 수렴 속도를 달성할 수 있는가?
• RQ2 복합 설정에서 랜덤화 블록좌표강하의 가장 날카운 가능한 기대값 수렴 속도는 무엇인가?
• RQ3 RBCD의 고확률 반복 복잡도는 기존의 한계와 비교해 어떻게 되며, $O(n/\epsilon)$만큼 향상시킬 수 있는가?
• RQ4 비가속형과 가속형 RBCD를 하나의 추정 수열 구성으로 통합할 수 있는 분석 프레임워크를 개발할 수 있는가?
• RQ5 왜 일부 경우에서 균일 선택 전략이 적응형 가중치 없이도 더 좋은 수렴을 보이며, 이는 이론적으로 어떻게 설명될 수 있는가?

주요 결과

• 논문은 Richtárik과 Takáč(2011)에서 이전에 암시된 것보다 복합 문제에서 RBCD의 더 날카운 기대값 수렴 속도를 확립하였으며, 이는 블록 구조와 관련된 인자로 속도가 향상된다.
• 고확률 반복 복잡도는 Richtárik과 Takáč(2011)의 한계보다 최소 $O(n/\epsilon)$만큼 향상되었으며, 여기서 $\epsilon$은 목표 정확도이고 $n$은 블록 수이다.
• 제약 조건이 없는 부드러운 볼록 최소화 문제에서는 랜덤화 추정 수열 기법이 Nesterov(2012)에서 제시된 것보다 더 날카운 기대값 수렴 속도를 제공하며, 조건수에 대한 의존도가 향상된다.
• 수렴 속도는 $\lambda_k \leq \left(\frac{n}{n + k\sqrt{\gamma_0}/2}\right)^2$로 감쇠하며, 개선된 상수를 가진 비선형 수렴 속도를 의미한다.
• 선택된 매개변수화 하에서 $\gamma_k \geq \mu$가 모든 $k$에 대해 성립함을 분석을 통해 증명하여 모멘타ム 수열의 안정성과 수렴성을 보장한다.
• 기대 이중 갭에 대한 한계는 $\mathbf{E}_{\xi_{k-1}}[f(x^k) - f^\star] \leq \lambda_k (f(x^0) - f^\star + \frac{\gamma_0}{2}\|x^0 - x^\star\|_L^2)$를 만족하며, $\lambda_k$는 기하급수적으로 감쇠한다.