[논문 리뷰] Distributed coordinate descent methods for composite minimization

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|2013. 12. 18.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 부분적으로 분리 가능한 미분 가능 볼록 함수와 완전히 분리 가능한 비미분 가능 볼록 함수의 합을 최소화하는 분산 랜덤 블록좌표강하 방법을 제안한다. 블록 리프시츠 기울기 가정 하에서, 이 방법은 하향 수렴 속도를 달성하며, 강력 볼록 함수 및 오차 경계 함수를 포함하는 새로운 종류의 일반화된 오차 경계 함수에 대해서는 선형 수렴 속도를 보인다. 이 경우 수렴 속도는 블록 선택 방식과 함수의 분리 가능성에 따라 달라진다.

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

연구 동기 및 목표

• 분리 가능한 구조를 가진 복합 볼록 최적화 문제를 위한 분산 최적화 방법을 개발한다.
• 블록 리프시츠 기울기 가정 하에서 수렴 속도를 분석한다.
• 강력 볼록 함수 및 오차 경계 함수를 포함하는 새로운 종류의 일반화된 오차 경계 함수에 대해 선형 수렴을 확립한다.
• 블록 선택과 함수 분리 가능성의 수렴 속도에 미치는 영향을 정량화한다.

제안 방법

• 이 방법은 분산 환경에서, 부분적으로 분리 가능한 미분 가능 함수와 완전히 분리 가능한 비미분 가능 함수의 합을 최소화하기 위해 랜덤 블록좌표강하를 적용한다.
• 분산된 노드들 간에 병렬적으로 수행되는 블록 단위 기울기 계산을 활용한다.
• 수렴 분석은 미분 가능 성분의 기울기의 블록 리프시츠 연속성에 기반한다.
• 선형 수렴을 확립하기 위해 새로운 종류의 일반화된 오차 경계 함수 클래스를 도입한다.
• 이론적 수렴 속도는 무작위로 선택된 블록의 수와 목적 함수의 분리 가능성 측도에 기반하여 유도된다.
• 전체 기울기 계산이 불가능한 대규모 문제에 적합하도록 설계된다.

실험 결과

연구 질문

• RQ1 분리 가능한 구조를 가진 복합 최소화 문제에 대해 분산 블록좌표강하 방법이 하향 수렴 속도를 달성할 수 있는가?
• RQ2 이전에 알려진 함수의 범주를 넘어서 더 넓은 범주에서 선형 수렴 속도를 달성하는가?
• RQ3 무작위로 선택된 블록의 수가 수렴 속도에 어떤 영향을 미치는가?
• RQ4 목적 함수의 분리 가능성 측도가 수렴 속도에 어떤 역할을 하는가?
• RQ5 일반화된 오차 경계 클래스가 기존의 강력 볼록 함수 및 오차 경계 함수에 대한 수렴 결과를 통합할 수 있는가?

주요 결과

• 미분 가능 함수의 기울기의 블록 리프시츠 연속성 가정 하에서, 방법은 하향 수렴 속도를 달성한다.
• 강력 볼록 함수 및 국소/전역 오차 경계 함수를 포함하는 새로운 종류의 일반화된 오차 경계 함수 클래스에 대해 선형 수렴이 확립된다.
• 수렴 속도는 무작위로 선택된 블록의 수와 목적 함수의 자연스러운 분리 가능성 측도에 따라 달라진다.
• 일반화된 오차 경계 함수 클래스는 기존 수렴 결과를 확장하는 통합 프레임워크를 제공한다.
• 이론적 추정치는 높은 분리 가능성과 최적의 블록 선택이 수렴 속도 향상에 기여함을 보여준다.