[논문 리뷰] Iteration Complexity of Randomized Block-Coordinate Descent Methods for Minimizing a Composite Function

Peter Richtárik, Martin Takáč|arXiv (Cornell University)|2011. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 18

한 줄 요약

이 논문은 부드럽고 비부드러운 성분을 포함하는 복합 볼록 함수를 최소화하기 위해 랜덤화된 블록좌표강하 방법을 제안한다. $ \epsilon $-정확도를 확률 $ 1-\rho $ 이상으로 달성하기 위한 반복 복잡도를 $ O(n/\epsilon \log(1/\rho)) $ 로 설정하며, 이는 이전 연구 대비 알려지지 않은 정규화 매개변수에 대한 의존성을 제거하고, 비유클리드 노름 및 임의의 확률 벡터로의 확장을 통해 향상된 성능을 보인다.

ABSTRACT

In this paper we develop a randomized block-coordinate descent method for minimizing the sum of a smooth and a simple nonsmooth block-separable convex function and prove that it obtains an $ε$-accurate solution with probability at least $1-ρ$ in at most $O( frac{n}ε \log frac{1}ρ)$ iterations, where $n$ is the number of blocks. For strongly convex functions the method converges linearly. This extends recent results of Nesterov [Efficiency of coordinate descent methods on huge-scale optimization problems, CORE Discussion Paper #2010/2], which cover the smooth case, to composite minimization, while at the same time improving the complexity by the factor of 4 and removing $ε$ from the logarithmic term. More importantly, in contrast with the aforementioned work in which the author achieves the results by applying the method to a regularized version of the objective function with an unknown scaling factor, we show that this is not necessary, thus achieving true iteration complexity bounds. In the smooth case we also allow for arbitrary probability vectors and non-Euclidean norms. Finally, we demonstrate numerically that the algorithm is able to solve huge-scale $\ell_1$-regularized least squares and support vector machine problems with a billion variables.

연구 동기 및 목표

• 부드럽고 비부드럽고 블록 분리 가능한 볼록 항을 포함하는 복합 함수를 최소화하기 위한 효율적인 랜덤화된 블록좌표강하 방법을 개발하는 것.
• $ \epsilon $-정확한 해를 고확률적으로 달성하기 위한 엄밀한 반복 복잡도 한계를 설정하는 것.
• 이전 연구에서 요구되었던 알려지지 않은 스케일링 인자에 의존하는 정규화가 필요 없도록 하는 것으로, 진정한 반복 복잡도를 달성하는 것.
• 부드러운 경우에 대해 임의의 확률 벡터와 비유클리드 노름으로 방법을 확장하는 것.
• 10억 변수 문제에 대한 확장성의 실증을 보여주는 것, 예를 들어 $ \ell_1 $-정규화 최소제곱과 대규모 서포트 벡터 머신을 포함한다.

제안 방법

• 알고리즘은 반복적으로 한 블록의 변수만 업데이트하며, 블록을 균일하게 랜덤으로 선택하거나 주어진 확률 벡터에 따라 선택한다.
• 선택된 블록에 대해 비부드러운 성분에 대한 프록시 스텝과 부드러운 성분에 대한 기울기 스텝을 수행하며, 효율적으로 계산된 부분 도함수를 사용한다.
• 탐욕적 선택의 계산 부담을 피하면서도 수렴 보장을 유지하기 위해 랜덤 블록 선택 전략을 사용한다.
• 각 반복에서 함수 값의 기대 감소를 활용하여 강한 볼록성과 기울기의 리프시츠 연속성의 특성을 이용한다.
• 알려지지 않은 매개변수에 의존하는 정규화를 피하는 새로운 복잡도 분석을 도입하여 더 엄밀한 한계를 도출한다.
• 임의의 확률 벡터와 비유클리드 노름을 지원하여 대규모 설정에서의 유연성을 향상시킨다.

실험 결과

연구 질문

• RQ1 복합 볼록 함수를 최소화하기 위한 랜덤화된 블록좌표강하의 반복 복잡도는 무엇인가?
• RQ2 알려지지 않은 정규화 매개변수에 의존하지 않고도 수렴을 달성할 수 있는가?
• RQ3 임의의 확률 벡터와 비유클리드 노름 하에서 방법의 성능는 어떠한가?
• RQ4 이 방법은 10억 변수 문제에 확장 가능한가?
• RQ5 대규모 $ \ell_1 $-정규화 최소제곱과 서포트 벡터 머신에서 실용적인 성능는 어떠한가?

주요 결과

• 알고리즘은 확률 $ 1-\rho $ 이상으로 $ O(n/\epsilon \log(1/\rho)) $ 반복 내에 $ \epsilon $-정확도를 달성하며, 이는 이전의 한계를 4배 향상시키고 로그 항에서 $ \epsilon $ 를 제거함으로써 개선된 결과를 보였다.
• 강한 볼록 함수의 경우 선형 수렴가능성을 확인하여 유리한 경우에 빠른 수렴을 보였다.
• 알려지지 않은 스케일링 인자에 의존하는 정규화가 필요 없어, 조정 없이도 진정한 반복 복잡도 한계를 확보할 수 있었다.
• 2989만 개의 특성을 가진 kdd2010 데이터셋에서 10억 변수 문제에 대해 효과적으로 확장됨을 입증하였다.
• 수치적 결과는 UCDC가 10억 변수 문제에서 0.5초 미만으로 좋은 해를 찾으며, 좌표를 10번 전반적으로 스캔한 후 높은 테스트 정확도를 달성함을 보였다.
• 희소 설정에서 효율적이며, 각 업데이트에 대해 $ O(o_i) $ 번의 연산만 필요하다. 여기서 $ o_i $ 는 특징 $ i $ 의 비제로 요소의 수이다.