[논문 리뷰] Randomized Dual Coordinate Ascent with Arbitrary Sampling

Zheng Qu, Peter Richtárik외 1명|arXiv (Cornell University)|2014. 11. 21.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 50

한 줄 요약

이 논문은 임의의 샘플링을 통해 이차적 변수를 선택하는 데 사용되는 새로운 무작위 이중좌표상승 방법인 Quartz를 제안한다. 이는 임의의 샘플링 하에서 SDCA 유사 방법에 대한 최초의 수렴 분석을 달성하여, 이론적 속도 향상 예측이 실제 성능과 일치하는 효율적인 순차적, 병렬적, 분산형 변형을 가능하게 한다.

ABSTRACT

We study the problem of minimizing the average of a large number of smooth convex functions penalized with a strongly convex regularizer. We propose and analyze a novel primal-dual method (Quartz) which at every iteration samples and updates a random subset of the dual variables, chosen according to an arbitrary distribution. In contrast to typical analysis, we directly bound the decrease of the primal-dual error (in expectation), without the need to first analyze the dual error. Depending on the choice of the sampling, we obtain efficient serial, parallel and distributed variants of the method. In the serial case, our bounds match the best known bounds for SDCA (both with uniform and importance sampling). With standard mini-batching, our bounds predict initial data-independent speedup as well as additional data-driven speedup which depends on spectral and sparsity properties of the data. We calculate theoretical speedup factors and find that they are excellent predictors of actual speedup in practice. Moreover, we illustrate that it is possible to design an efficient mini-batch importance sampling. The distributed variant of Quartz is the first distributed SDCA-like method with an analysis for non-separable data.

연구 동기 및 목표

• 기존 SDCA 방법의 한계를 극복하기 위해 이중 변수의 임의의 샘플링을 지원하는 유연한 확률적 원시-이중 알고리즘을 개발하는 것.
• 중간 이중 오차 경계에 의존하지 않고 직접 원시-이중 오차 감소를 분석하는 것.
• 임의의 샘플링 분포를 활용하여 순차적, 병렬적, 분산 환경에서의 효율적 구현을 가능하게 하는 것.
• 자료 흐문성과 스펙트럼 특성에 기반한 이론적 속도 향상 요소를 유도하고, 이를 실증적으로 검증하는 것.
• 기존 방법들인 SDCA 및 Prox-SDCA와 비교해 수렴 속도가 동일하거나 향상됨을 보여주는 것.

제안 방법

• 이 방법은 임의의 확률 분포에 따라 이중 변수의 무작위 부분집합(블록)을 선택하여 무작위 이중좌표 업데이트를 수행한다.
• 수렴을 보장하기 위해 일반적인 샘플링 하에서 수렴을 보장하기 위해 기대분리과근사(ESO) 부등식을 사용하여 스텝사이즈 파rameter $ v_i $ 를 정의한다.
• SDCA보다 덜 공격적인 규칙을 사용하여 원시 업데이트를 수행하며, 이는 이중 변수 평균 $ \bar{\alpha}^{t-1} $ 에 기반한다. $ w^t = (1-\theta)w^{t-1} + \theta \nabla g^*(\bar{\alpha}^{t-1}) $.
• 기대 원시-이중 갭의 직접 경계를 통해 분석을 수행하여 반복 횟수 기반의 수렴 보장을 이끌어낸다.
• 샘플링 유형(예: $\tau$-nice, 중요도 샘플링)에 기반한 이론적 속도 향상 요소를 유도하며, 자료 흐문성과 스펙트럼 구조를 통합한다.
• 효율적인 미니배치 중요도 샘플링 전략을 설계하고 검증하여 강력한 실증적 속도 향상을 보였다.

실험 결과

연구 질문

• RQ1 균일하거나 중요도 샘플링 가정 없이도 임의의 샘플링 하에서 원시-이중 확률적 방법을 개발하고 분석할 수 있는가?
• RQ2 샘플링 분포의 선택이 수렴 속도에 미치는 영향은 무엇이며, 이론적 속도 향상 요소가 실제 성능 향상 예측에 얼마나 잘 맞는가?
• RQ3 비분리 자료를 가진 분산 환경으로의 확장이 가능하며, 강력한 수렴 보장을 유지할 수 있는가?
• RQ4 다양한 원시 업데이트 규칙의 영향은 무엇이며, Prox-SDCA와 비교해 어떻게 다른가?
• RQ5 자료 흐문성과 스펙트럼 특성이 이론적 및 실증적 속도 향상에 얼마나 영향을 미치는가?

주요 결과

• 이 방법은 $ \max_i \left( \frac{1}{p_i} + \frac{v_i}{p_i \lambda \gamma n} \right) \log\left( \frac{P(w^0)-D(\alpha^0)}{\epsilon} \right) $ 반복 내에서 수렴하며, 균일 샘플링 및 중요도 샘플링 하에서 SDCA의 최고 수준의 기존 결과와 일치한다.
• 자료 흐문성과 스펙트럼 특성에 기반한 이론적 속도 향상 요소가 실제로 여러 데이터셋(astro_ph, CCAT, webspam)에서 관찰된 속도 향상과 매우 잘 일치한다.
• $\tau$-nice 샘플링의 경우 이론적 속도 향상 요소는 $c\tau$의 등고선을 따라 거의 일정하며, 이는 로그-로그 플롯에서 관찰된 거의 직선 패턴을 설명한다.
• Quartz의 분산형 변형은 비분리 자료에 대해 수렴 분석이 있는 최초의 SDCA 유사 방법으로, 확장 가능한 분산 학습을 가능하게 한다.
• 더 공격적인 원시 업데이트를 사용하는 Quartz-100$\theta$는 이론적 프레임워크에 완전히 포함되지 않음에도 불구하고 Prox-SDCA와 유사한 수렴 속도를 달성한다.
• 이 방법은 효율적인 미니배치 중요도 샘플링을 지원하며, 스무딩 허프 허용 손실을 가진 $L2$-정규화 선형 SVM에서 이론적 속도 향상 예측이 실증적으로 검증되었다.