[논문 리뷰] Coordinate Descent with Arbitrary Sampling I: Algorithms and Complexity

Zheng Qu, Peter Richtárik|arXiv (Cornell University)|2014. 12. 27.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 33

한 줄 요약

이 논문은 복합 볼록 최적화 문제를 해결하기 위해 임의의 샘플링 분포—중요도 샘플링 포함—를 지원하는 통합된 랜덤화 좌표 강하 방법인 ALPHA를 소개한다. 이는 순차적, 병렬적, 가속화, 분산형 변형에 대해 기존 결과를 통합하고 개선하는 복잡도 분석을 제공하며, 일반적인 샘플링 체계 하에서 최적 수렴 속도를 달성한다.

ABSTRACT

We study the problem of minimizing the sum of a smooth convex function and a convex block-separable regularizer and propose a new randomized coordinate descent method, which we call ALPHA. Our method at every iteration updates a random subset of coordinates, following an arbitrary distribution. No coordinate descent methods capable to handle an arbitrary sampling have been studied in the literature before for this problem. ALPHA is a remarkably flexible algorithm: in special cases, it reduces to deterministic and randomized methods such as gradient descent, coordinate descent, parallel coordinate descent and distributed coordinate descent -- both in nonaccelerated and accelerated variants. The variants with arbitrary (or importance) sampling are new. We provide a complexity analysis of ALPHA, from which we deduce as a direct corollary complexity bounds for its many variants, all matching or improving best known bounds.

연구 동기 및 목표

• 복합 볼록 최적화에서 임의의 샘플링 분포를 사용하는 좌표 강하 방법에 대한 이론적 분석 부족 문제를 해결한다.
• 순차적, 병렬적, 가속화, 분산형 등 다양한 좌표 강하 변형을 하나의 알고리즘 프레임워크로 통합한다.
• 기존 전문화된 방법의 최신 기준에 맞추어 또는 이를 초월하는 복잡도 분석을 제공한다.
• 중요도 샘플링을 좌표 강하에 도입하면서도 이론적 수렴 보장을 유지할 수 있도록 한다.
• 분석을 단순화하여 광범위한 연구자들이 접근 가능하게 하되, 동시에 경계의 날카움과 일반성을 유지한다.

제안 방법

• 임의의 확률 분포에 따라 각 반복에서 랜덤한 좌표 부분집합을 갱신하는 랜덤화 좌표 강하 알고리즘인 ALPHA를 제안한다.
• 샘플된 좌표가 생성하는 랜덤 부분공간에서 목적함수의 평활성을 기술하는 새로운 기술적 가정을 도입한다.
• 예상 감소량을 라플라스 함수에 대해 유계화하기 위해 삼점 추정 기법을 사용하여, 임의의 샘플링 하에서도 수렴 분석을 가능하게 한다.
• 수열 $\theta_k$를 활용한 모멘타처럼 갱신 전략을 도입하여 가속화된 수렴 속도를 달성한다.
• 최적 해에 대한 진전을 추적하는 수정된 라플라스 함수 기대값에 대한 재귀 관계를 유도한다.
• 두 가지 $\theta_k$ 선택—정수형 및 적응형(최적의 $O(1/k^2)$ 속도를 위한)—하에 재귀 관계를 분석하여 수렴 경계를 확립한다.

실험 결과

연구 질문

• RQ1 임의의 샘플링 분포 하에서 좌표 강하 방법에 대해 통합된 수렴 분석을 개발할 수 있는가?
• RQ2 샘플링 분포의 선택(중요도 샘플링 포함)이 좌표 강하 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 병렬 및 분산 환경을 포함한 임의의 샘플링 하에서도 가속화된 수렴 속도($O(1/k^2)$)를 좌표 강하에서 달성할 수 있는가?
• RQ4 임의의 샘플링을 위한 복합 볼록 최적화에서 수렴을 보장하기 위해 필요한 최소한의 기술적 가정은 무엇인가?
• RQ5 수렴 경계의 날카움과 일반성을 훼손하지 않으면서 분석을 어떻게 단순화할 수 있는가?

주요 결과

• ALPHA는 임의의 샘플링 하에서 비강한 볼록 문제에 대해 $O(1/k^2)$ 수렴 속도를 달성하며, 기존에 알려진 최고 수준의 가속화 속도와 일치한다.
• 복잡도 분석은 기존 순차적, 병렬적, 분산형, 가속화된 변형에 대한 경계를 통합하고 개선한다.
• 정수형 $\theta_k = \theta_0$일 경우, 기대 하위최적성은 $O(1/(\theta_0 k))$로 감소하며, 기존 비가속화 속도와 일치한다.
• 적응형 $\theta_k$일 경우, 기대 하위최적성은 $O(1/(\theta_0 k + 2)^2)$로 감소하여 최적의 가속화 속도를 달성한다.
• 중요도 샘플링을 손실 없이 지원하여 곡률이 높은 좌표에 대해 더 빠른 수렴을 가능하게 한다.
• 분석은 단순화되고 통합되어 접근성이 향상되었으며, 다양한 샘플링 체계에 걸쳐 날카운 경계와 일반성을 유지한다.