[논문 리뷰] Parallel coordinate descent methods for composite minimization

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|2013. 12. 18.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 부분적으로 분리 가능한 미분 가능 항과 완전히 분리 가능한 비미분 항으로 구성된 복합 볼록 함수를 최소화하기 위한 분산형 랜덤 블록좌표강하 방법을 제안한다. 블록 기반 그라디언트 리프시츠 연속성 조건 하에서, 이 방법은 하향 수렴 속도를 달성하며, 새로운 종류의 일반화된 오차 경계 함수에 대해서는 선형 수렴 속도를 확립한다. 이 함수 클래스는 강력 볼록 함수와 표준 오차 경계 함수를 포함한다.

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

연구 동기 및 목표

• 대규모 복합 볼록 문제를 위한 효율적인 분산 최적화 방법의 필요성 해결.
• 분산 컴퓨팅 환경에 적합한 랜덤 블록좌표강하 알고리즘 개발.
• 강력 볼록성 가정보다 더 약한 조건 하에서도 수렴 보장을 확보, 특히 비미분 및 부분적으로 분리 가능한 목적함수에 대해.
• 기존 수렴 프레임워크를 통합하고 확장하는 새로운 종류의 일반화된 오차 경계 함수 클래스 도입 및 분석.
• 블록 선택 전략과 함수 분리성의 수렴 속도에 미치는 영향 정량화.

제안 방법

• 분산된 노드들 간에 병렬적으로 변수 블록을 업데이트하는 랜덤 블록좌표강하 프레임워크 채택.
• 목적함수의 비미분적이고 완전히 분리 가능한 성분을 처리하기 위해 프록시 연산자 통합.
• 부분 블록 기반 그라디언트 리프시츠 연속성을 활용해 미분 가능한 부분의 수렴 한계 유도.
• 해결책 주변의 목적함수 국소 기하학을 기술하는 일반화된 오차 경계 조건 도입.
• 최소한의 통신 오버헤드로 가능하도록 이국적이고 분산된 업데이트를 허용하는 알고리즘 설계.
• 계산 부하 균형과 수렴 속도 향상을 위해 랜덤 블록 선택 전략 사용.

실험 결과

연구 질문

• RQ1 강력 볼록성을 가정하지 않더라도, 분산형 블록좌표강하 방법이 복합 볼록 문제에서 선형 수렴을 달성할 수 있는가?
• RQ2 수렴 속도가 무작위로 선택된 블록 수와 목적함수의 분리성 구조에 어떻게 의존하는가?
• RQ3 강력 볼록 함수 이외의 어떤 함수 클래스가 좌표강하 방법에서 선형 수렴을 가능하게 하는가?
• RQ4 제안된 일반화된 오차 경계 조건은 기존의 오차 경계 및 강력 볼록성 가정과 어떻게 관련이 있는가?
• RQ5 분산 환경에서 블록 선택 전략의 이론적 영향은 수렴 속도에 어떻게 작용하는가?

주요 결과

• 블록 기반 그라디언트 리프시츠 연속성 조건 하에서 제안된 방법은 하향 수렴 속도를 확보한다.
• 새로운 종류의 일반화된 오차 경계 함수 클래스에 대해 선형 수렴이 입증된다. 이 클래스는 전역 및 국소 오차 경계 함수를 모두 포함한다.
• 이러한 일반화된 오차 경계 함수 클래스는 매끄럽고 강력 볼록인 함수도 포함하므로, 다양한 수렴 영역을 통합한다.
• 이론적 수렴 추정치는 무작위로 선택된 블록 수와 함수 분리성의 자연스러운 척도에 의존한다.
• 블록 분리성이 높아지고 최적의 블록 선택 전략이 적용될수록 수렴 속도가 향상된다.
• 낮은 통신 오버헤드와 병렬 업데이트 아키텍처 덕분에 이 방법은 확장 가능하며 분산 환경에 적합하다.