[논문 리뷰] Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling

Zeyuan Allen-Zhu, Zheng Qu외 2명|arXiv (Cornell University)|2015. 12. 30.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 22

한 줄 요약

이 논문은 가속된 좌표강하에 대한 새로운 비균일 샘플링 전략을 제안하며, 각 좌표를 부드러움 파라미터의 제곱근 비례로 선택함으로써 기존 방법 대비 최대 √n의 속도 향상을 달성한다. 이 방법은 비강한 볼록 문제와 강한 볼록 문제 모두에서 수렴 속도를 향상시키며, ERM 및 선형 시스템에서 이론적이고 실증적인 검증을 받았다.

ABSTRACT

Accelerated coordinate descent is widely used in optimization due to its cheap per-iteration cost and scalability to large-scale problems. Up to a primal-dual transformation, it is also the same as accelerated stochastic gradient descent that is one of the central methods used in machine learning. In this paper, we improve the best known running time of accelerated coordinate descent by a factor up to $\sqrt{n}$. Our improvement is based on a clean, novel non-uniform sampling that selects each coordinate with a probability proportional to the square root of its smoothness parameter. Our proof technique also deviates from the classical estimation sequence technique used in prior work. Our speed-up applies to important problems such as empirical risk minimization and solving linear systems, both in theory and in practice.

연구 동기 및 목표

• 비가속 설정에서 비균일 샘플링의 이점이 알려져 있음에도 불구하고, 가속된 좌표강하에서 효율적인 샘플링 전략의 부족을 해결한다.
• 샘플링 분포를 재설계하여 기존 최고 수준을 초월한 가속된 좌표강하의 수렴 속도를 향상시킨다.
• 기존의 추정 수열 기법과는 다름없는 새로운 이론적 프레임워크를 제안하여 더 날카운 수렴 경계를 가능하게 한다.
• 실제 데이터셋과 합성 선형 시스템에서 실용적인 속도 향상을 입증하며, 특히 비균일 부드러움 영역에서 두각을 나타낸다.
• 새로운 방법과 기존의 가속 방법(APCG 등) 간의 관계를 설정하여, 다양한 파rameter 설정 하에서의 상대적 성능을 명확히 한다.

제안 방법

• 각 좌표 i가 부드러움 파라미터 Li의 제곱근 비례로 선택될 확률을 가지는 비균일 샘플링 분포를 제안한다.
• 이전 연구에서 사용된 고전적 추정 수열 프레임워크를 피하는 새로운 증명 기법을 개발하여 더 날카운 수렴 분석을 가능하게 한다.
• 모멘타임 기반 업데이트 방식에 새로운 샘플링 규칙를 통합한 수정된 가속된 좌표강하 알고리즘(NU ACDMns)을 도입한다.
• 비강한 볼록 및 강한 볼록 설정 모두에서 수렴 속도를 분석하며, ∑√Li 및 σ(강한 볼록성 파라미터)를 기반으로 경계를 유도한다.
• 비강한 볼록 목표 함수에 대해 Lβ 노름으로 일반화하여 수렴 속도와 내구성 사이의 탄력적 트레이드오프를 가능하게 한다.
• ACDM, APCG 및 랜덤라이즈드 카츠마르츠와의 비교를 통해 ERM 문제(News20, w8a, covtype) 및 선형 시스템에서 방법을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 좌표의 부드러움에 기반한 비균일 샘플링 전략이 기존 방법을 초월해 가속된 좌표강하의 수렴 속도를 향상시킬 수 있는가?
• RQ2 가속된 좌표강하에 최적의 샘플링 분포는 무엇이며, 이는 이전에 사용된 균일 또는 Li 비례 규칙과 다를까?
• RQ3 다양한 데이터셋과 부드러움 분포를 가진 환경에서, 새로운 방법이 APCG 및 ACDM과 같은 최고 수준의 알고리즘과 실질적으로 어떻게 비교되는가?
• RQ4 부드러움 파라미터가 비균일할 경우, 최대 √n의 이론적 속도 향상이 실제 응용에서도 유지되는가?
• RQ5 비강한 볼록 설정에서 Lβ 노름의 β 선택은 성능에 어떤 영향을 미치며, 어떤 β 값이 가장 우수한 실용적 트레이드오프를 제공하는가?

주요 결과

• 선택 확률이 √Li 비례하는 제안된 비균일 샘플링 규칙은 worst-case 상황에서 ACDM 대비 최대 √n의 이론적 속도 향상을 달성한다.
• 비강한 볼록 문제의 경우, 새로운 방법은 O(∑√Li / √ε · ||x₀ − x*||)의 수렴 속도를 달성하며, ACDM의 O(√n ∑Li / √ε · ||x₀ − x*||)보다 향상된다.
• 강한 볼록 케이스에서는 O(∑√Li / √σ · log(1/ε))의 속도를 달성하여 ACDM의 O(√n ∑Li / √σ · log(1/ε))보다 더 빠르다.
• News20, w8a, covtype와 같은 ERM 데이터셋에서의 실증 결과는 NU ACDMns가 ACDM을 능가하고 APCG와 경쟁 가능하며, 특히 비균일 부드러움 영역에서 두각을 나타낸다.
• 합성 선형 시스템에서, A의 행 벡터 노름이 비균일할 경우(낮은 r), 속도 향상이 가장 두드러지며, r = 10%일 경우 이론적 속도 향상 요인이 1.74에 도달한다.
• NU ACDMns의 성능은 Lβ 노름의 다양한 β 값에 대해 뛰어난 내구성을 보이며, 특히 비균일 데이터셋에서 작은 β(예: β = 0)가 일반적으로 더 우수한 성능을 보인다.