[논문 리뷰] Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|2013. 12. 18.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 10

한 줄 요약

이 논문은 부분적으로 분리 가능한 미분 가능 함수와 완전히 분리 가능한 비미분 함수의 합으로 이루어진 복합 볼록 최적화 문제를 위한 병렬 랜덤 블록 좌표 강하 방법을 제안한다. 일반화된 오차 바운드 조건 하에서 선형 수렴성을 확립하며, 이 조건은 강력 볼록 함수와 국소 오차 바운드 함수를 모두 포함한다. 수렴 속도는 블록 수와 문제의 분리 가능성에 따라 달라진다.

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

연구 동기 및 목표

• 부분적으로 분리 가능한 미분 가능 성분과 완전히 분리 가능한 비미분 성분을 가진 대규모 복합 볼록 최적화 문제를 위한 병렬 랜덤 블록 좌표 강하 방법을 개발한다.
• 리프시츠 기울기 조건과 강력 볼록성보다 더 약한 가정 하에서 수렴 속도를 확립한다. 특히 일반화된 오차 바운드 조건 하에서 수행한다.
• 병렬 처리가 수렴 속도에 미치는 영향을 분석하며, 특히 동시에 업데이트되는 블록 수와 문제의 분리 가능성의 역할을 다룬다.
• 완전 기울기, 순차적, 병렬 좌표 강하를 특수 케이스로 포함하는 통합 프레임워크를 제공한다.
• 제약 조건이 있는 라소 문제에 대한 수치 실험을 통해 이론적 결과를 검증하며, 일반화된 오차 바운드 성질을 만족할 경우 실질적으로 선형 수렴이 이루어짐을 확인한다.

제안 방법

• 각 반복에서 무작위로 선택된 변수의 블록을 동시에 업데이트하며, 미분 가능 부분에는 기울기 스텝을, 비미분 가능 부분에는 프록시 스텝을 적용한다.
• 선형 수렴성을 확립하기 위해 일반화된 오차 바운드 성질을 핵심 가정으로 활용하며, 이는 강력 볼록성 또는 전역 오차 바운드보다 더 일반적인 조건이다.
• 수렴 분석은 각 반복에서 업데이트되는 블록 수와 목적 함수의 분리 가능성에 대한 자연스러운 측도를 고려한다.
• 알고리즘은 확장 가능하며, 특히 대규모 데이터 문제에 적합한 분산 및 병렬 컴퓨팅 아키텍처에 적합하도록 설계되었다.
• 이론적 수렴 속도는 기울기의 리프시츠 연속성과 일반화된 오차 바운드 조건에 기반하여 유도된다.
• 이 방법은 제약 조건이 있는 라소 문제에 적용되었으며, 이 문제들이 일반화된 오차 바운드 성질을 만족함을 보여주어 선형 수렴이 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 강력 볼록성 또는 전역 오차 바운드 조건보다 더 약한 가정 하에서 병렬 랜덤 블록 좌표 강하 방법의 선형 수렴성을 확보할 수 있는가?
• RQ2 병렬 좌표 강하 방법에서 동시에 업데이트되는 블록 수가 수렴 속도에 어떤 영향을 미치는가?
• RQ3 목적 함수의 분리 가능성 구조가 알고리즘의 수렴 속도에 어느 정도의 영향을 미치는가?
• RQ4 제안된 일반화된 오차 바운드 조건이 강력 볼록 함수와 국소 오차 바운드 함수를 모두 적절히 포함하는가?
• RQ5 실세계 최적화 문제인 제약 조건이 있는 라소 문제에 대한 수치 실험을 통해 이론적 수렴 속도를 검증할 수 있는가?

주요 결과

• 제안된 병렬 랜덤 좌표 강하 방법은 일반화된 오차 바운드 성질을 가진 광범위한 문제 클래스에서 선형 수렴성을 달성한다.
• 일반화된 오차 바운드 조건은 강력 볼록 함수와 국소 오차 바운드 함수를 모두 포함하며, 이는 이전의 수렴 결과를 확장한다.
• 이론적 수렴 속도는 각 반복에서 업데이트되는 블록 수와 문제의 분리 가능성 측도에 따라 달라지며, 블록 수가 많고 분리 가능성도 높을수록 더 빠른 수렴을 보인다.
• 제약 조건이 있는 라소 문제에 대한 수치 결과는, 목적 함수가 강력 볼록이 아니더라도 일반화된 오차 바운드 성질을 만족할 경우 실질적으로 선형 수렴이 이루어짐을 확인한다.
• 다양한 문제 크기와 희소성 수준에서, P-RCD 알고리즘이 [18]에서 제시한 PCDM1 방법보다 반복 횟수 측면에서 뛰어나며, 특히 블록 수가 클 경우 두드러진 성능 향상을 보였다.
• 차원 수가 $10^6$에 이르는 실험에서, P-RCD 방법은 PCDM1보다 더 적은 반복 수를 요구하였으며, 강력 볼록성 여부에 관계없이 오차 바운드 조건을 만족하는 경우 수렴 속도는 유사한 수준을 유지하였다.