[논문 리뷰] Accelerated Coordinate Descent with Arbitrary Sampling and Best Rates for Minibatches

Filip Hanzely, Peter Richtárik|arXiv (Cornell University)|2018. 09. 25.

Distributed Sensor Networks and Detection Algorithms인용 수 20

한 줄 요약

이 논문은 임의의 샘플링을 허용하는 가속화된 좌표 하강(ACD) 방법을 제안하며, 새로운 중요도 기반 샘플링 규칙을 통해 최적의 미니배치 선택을 가능하게 한다. 좌표별 리프시츠 상수를 활용함으로써, 균일 샘플링 대비 최대 O(n/τ)만큼 더 빠른 수렴을 보장하며, τ ≪ n 인 경우 대규모 머신러닝 문제에서 성능이 크게 향상된다.

ABSTRACT

Accelerated coordinate descent is a widely popular optimization algorithm due to its efficiency on large-dimensional problems. It achieves state-of-the-art complexity on an important class of empirical risk minimization problems. In this paper we design and analyze an accelerated coordinate descent (ACD) method which in each iteration updates a random subset of coordinates according to an arbitrary but fixed probability law, which is a parameter of the method. If all coordinates are updated in each iteration, our method reduces to the classical accelerated gradient descent method AGD of Nesterov. If a single coordinate is updated in each iteration, and we pick probabilities proportional to the square roots of the coordinate-wise Lipschitz constants, our method reduces to the currently fastest coordinate descent method NUACDM of Allen-Zhu, Qu, Richt\\'{a}rik and Yuan. While mini-batch variants of ACD are more popular and relevant in practice, there is no importance sampling for ACD that outperforms the standard uniform mini-batch sampling. Through insights enabled by our general analysis, we design new importance sampling for mini-batch ACD which significantly outperforms previous state-of-the-art minibatch ACD in practice. We prove a rate that is at most ${\\cal O}(\\sqrt{\ au})$ times worse than the rate of minibatch ACD with uniform sampling, but can be ${\\cal O}(n/\ au)$ times better, where $\ au$ is the minibatch size. Since in modern supervised learning training systems it is standard practice to choose $\ au \\ll n$, and often $\ au={\\cal O}(1)$, our method can lead to dramatic speedups. Lastly, we obtain similar results for minibatch nonaccelerated CD as well, achieving improvements on previous best rates.

연구 동기 및 목표

• 각 반복에서 좌표를 임의로 선택하는 가속화된 좌표 하강 방법을 설계하여 기존 방법을 일반화한다.
• 기존의 균일 샘플링보다 실용적으로 우수한 성능을 보이는 미니배치 ACD를 위한 최적의 중요도 기반 샘플링 전략을 도출한다.
• 특히 미니배치 크기 τ가 작을 경우 기존 최상위 성능보다 증명 가능한 더 빠른 수렴 속도를 확립한다.
• 로지스틱 회귀 및 SVM과 같은 실제 머신러닝 문제에서 제안된 방법의 실용적 슈퍼리오리티를 입증한다.
• 가속화 및 비가속화된 좌표 하강에 대해 모두 미니배칭을 통한 분석을 확장한다.

제안 방법

• 각 반복에서 좌표 부분집합(미니배치)을 고정된 확률 분포를 사용해 임의로 선택하며, 이는 단일 좌표 및 전체 기울기 방법을 일반화한다.
• 좌표별 리프시츠 상수의 제곱근 비례로 샘플링 확률을 설정하는 새로운 중요도 기반 샘플링 체계를 도입한다.
• 알고리즘은 네스테로프 스타일의 모멘텀을 사용하며 수렴을 가속화하기 위해 모멘텀 변수를 유지한다.
• 수렴 분석은 새로운 리아푸노프 함수와 ESO(Expected Separable Overapproximation) 프레임워크를 기반으로 하며, 임의의 샘플링을 다룰 수 있다.
• 비가속화된 변종의 경우에도 유사한 중요도 기반 샘플링 규칙을 유도하여, 기존 비가속화된 미니배치 CD 속도를 향상시킨다.
• 부드럽고 강하게 볼록한 목표 함수 모두를 지원하며, 반복 복잡도에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 좌표 부분집합을 임의로 샘플링하면서도 최적의 수렴 속도를 유지할 수 있는 가속화된 좌표 하강 방법을 설계할 수 있는가?
• RQ2 균일 샘플링보다 뛰어난 성능을 보이는 미니배치 ACD를 위한 최적의 중요도 기반 샘플링 전략은 무엇인가?
• RQ3 특히 τ ≪ n 인 경우, 제안된 ACD 방법의 수렴 속도는 미니배치 크기 τ에 따라 어떻게 변화하는가?
• RQ4 로지스틱 회귀 및 SVM과 같은 실제 머신러닝 문제에서 이론적 향상이 실증적으로 검증될 수 있는가?
• RQ5 수렴 속도 측면에서 미니배치 샘플링 전략과 문제의 조건수 사이의 관계는 무엇인가?

주요 결과

• 제안된 ACD 방법은 균일 샘플링 대비 최대 O(√τ) 배로 열 劣화될 수 있지만, 샘플링 분포에 따라 O(n/τ) 배로 훨씬 빠를 수 있다.
• 미니배치 크기 τ ≪ n 인 경우, 중요도 기반 샘플링을 사용할 경우 실질적으로 놀라운 속도 향상이 이루어진다.
• 리프시츠 상수의 제곱근에 기반한 중요도 기반 샘플링 규칙은 기존 작업을 초월하여 미니배치 ACD의 최고 성능을 달성한다.
• 로지스틱 회귀 및 SVM 문제에 대한 실증 결과는 중요도 기반 샘플링이 부패하거나 조건이 나쁜 데이터에서 특히 뚜렷한 속도 향상을 보임을 보여준다.
• 모든 테스트 데이터셋과 미니배치 크기에서 표준 균일 미니배칭 및 기존 최상위 성능 ACD 방법보다 제안된 방법이 뛰어난 성능을 보였다.
• 이론적 수렴 속도는 문헌에서 알려진 최고 수준의 속도와 일치하며, 이 방법은 고전적 AGD 및 NUACDM를 특수 케이스로 일반화한다.