[논문 리뷰] On Optimal Probabilities in Stochastic Coordinate Descent Methods

Peter Richtárik, Martin Takáč|arXiv (Cornell University)|2013. 10. 13.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 24

한 줄 요약

이 논문은 수렴 속도를 향상시키기 위해 비균일 확률을 사용해 좌표 업데이트를 선택하는 비균일 확률적 좌표강하 방법인 NSync을 소개한다. 이러한 확률과 스텝사이즈 파라미터를 최적화함으로써 NSync은 균일 및 완전 병렬 버전보다 더 빠른 수렴을 달성하며, 이론적으로는 최적의 확률로 단일 좌표를 업데이트하는 것이 동시에 모든 좌표를 업데이트하는 것보다 우월할 수 있음을 보여준다.

ABSTRACT

We propose and analyze a new parallel coordinate descent method---`NSync---in which at each iteration a random subset of coordinates is updated, in parallel, allowing for the subsets to be chosen non-uniformly. We derive convergence rates under a strong convexity assumption, and comment on how to assign probabilities to the sets to optimize the bound. The complexity and practical performance of the method can outperform its uniform variant by an order of magnitude. Surprisingly, the strategy of updating a single randomly selected coordinate per iteration---with optimal probabilities---may require less iterations, both in theory and practice, than the strategy of updating all coordinates at every iteration.

연구 동기 및 목표

• 균일한 변형보다 수렴 속도를 향상시키는 비균일 병렬 좌표강하 방법을 개발하는 것.
• 강한 볼록성과 비균일 샘플링 가정 하에서 제안된 방법의 수렴 속도를 유도하는 것.
• 수렴 복잡도를 최소화하는 좌표 선택을 위한 최적의 확률 분포를 결정하는 것.
• 이론적 및 실증적으로 단일 좌표 업데이트가 최적의 확률을 사용할 경우 전체 좌표 업데이트를 초월할 수 있음을 보여주는 것.

제안 방법

• NSync는 각 반복에서 좌표의 무작위 부분집합을 선택하여 병렬 업데이트를 수행하며, 좌표의 중요도에 따라 비균일 확률을 할당한다.
• 이 방법은 업데이트 후 기대 함수 증가를 제한하기 위해 비균일 기대 분리 가능한 근사 조건(ESO)을 사용한다.
• 강한 볼록성과 가중치가 부여된 노름에 대해 수렴을 분석함으로써 반복 복잡도의 상한을 도출한다.
• 수렴 속도를 지배하는 조건수 Λ를 최소화함으로써 최적의 확률을 유도하며, 병렬 경우에선 선형 프로그래밍을 사용한다.
• 스텝사이즈 파라미터 w_i는 w_i = θ(L_i + v_i)로 선택되며, θ는 샘플링 구조와 τ-좋은 샘플링 성질에 따라 달라진다.
• 이 방법은 이전의 균일 및 순차적 방법을 일반화하며, 좌표 부분집합에 대해 임의의 비균일 샘플링을 허용한다.

실험 결과

연구 질문

• RQ1 확률적 좌표강하에서 좌표 부분집합에 대한 비균일 샘플링이 균일 샘플링보다 더 빠른 수렴을 이끌 수 있는가?
• RQ2 최적의 확률을 사용해 각 반복마다 단일 좌표만 업데이트하는 방법이 동시에 모든 좌표를 업데이트하는 방법보다 뛰어날 수 있는가?
• RQ3 병렬 확률적 좌표강하 방법의 수렴 복잡도를 최소화하는 좌표 부분집합에 대한 최적의 확률 할당은 무엇인가?
• RQ4 NSync의 수렴 속도는 샘플링 확률과 스텝사이즈 파라미터의 선택에 어떻게 의존하는가?
• RQ5 병렬 설정에서 확률 분포에 대해 선형 프로그래밍 공식을 통해 이론적 수렴 상한을 최적화할 수 있는가?

주요 결과

• 단일 좌표를 각 반복마다 업데이트하는 최적의 순차적 방법은, 좌표 업데이트 수가 적음에도 불구하고 완전 병렬 방법보다 더 빠른 수렴을 보일 수 있다.
• NSync의 수렴 복잡도는 조건수 Λ = max_i (w_i / (p_i v_i))에 의해 지배되며, Λ를 최소화함으로써 가장 빠른 수렴 속도를 달성할 수 있다.
• 순차적 경우에서 최적의 확률 벡터는 p_i^* = (L_i + v_i)/v_i / sum_j (L_j + v_j)/v_j 로 주어지며, 이로 인해 복잡도 Λ_OS = n + sum_i L_i/v_i 가 도출된다.
• 병렬 경우에서 최적의 확률은 c+1개의 변수와 2n+1개의 제약 조건을 가진 선형 프로그래밍을 통해 계산될 수 있으며, 여기서 c는 서로 다른 샘플링 집합의 수이다.
• 실증 결과는 최적의 순차적 방법이 좌표의 리프시츠 상수 L_i가 크게 다를 경우 특히, 균일 순차적 및 완전 병렬 변형보다 실질적으로 뛰어난 성능을 보임을 확인한다.
• 이 방법은 L_i와 v_i의 과소 또는 과대 추정에 대해 강건하지만, 추정 오차가 클수록 성능에 대한 민감도가 증가한다.