[논문 리뷰] Asynchronous Stochastic Block Coordinate Descent with Variance Reduction

Bin Gu, Zhouyuan Huo외 1명|arXiv (Cornell University)|2016. 10. 29.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 복합 볼록 최적화를 위한 분산된 비동기적 확률적 블록 좌표 강하 알고리즘인 AsySBCDVR을 제안하며, 잠금 없이 병렬 계산을 가능하게 한다. 강한 볼록성 하에서는 선형 수렴를 달성하고, 그렇지 않은 경우는 하위선형 수렴를 보이며, 공유 메모리 시스템에서 거의 선형적인 성능 향상을 보여, 고차원 및 대규모 샘플 수를 가진 대규모 데이터에 대한 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Asynchronous parallel implementations for stochastic optimization have received huge successes in theory and practice recently. Asynchronous implementations with lock-free are more efficient than the one with writing or reading lock. In this paper, we focus on a composite objective function consisting of a smooth convex function $f$ and a block separable convex function, which widely exists in machine learning and computer vision. We propose an asynchronous stochastic block coordinate descent algorithm with the accelerated technology of variance reduction (AsySBCDVR), which are with lock-free in the implementation and analysis. AsySBCDVR is particularly important because it can scale well with the sample size and dimension simultaneously. We prove that AsySBCDVR achieves a linear convergence rate when the function $f$ is with the optimal strong convexity property, and a sublinear rate when $f$ is with the general convexity. More importantly, a near-linear speedup on a parallel system with shared memory can be obtained.

연구 동기 및 목표

• 샘플 수와 차원 수가 모두 막대한 대규모 머신러닝 및 컴퓨터 비전 분야에서의 확장 가능한 최적화의 필요성을 해결한다.
• 기존의 비동기적 확률적 알고리즘의 한계를 극복한다. 이는 일반적으로 원자적(단일 좌표) 또는 블록 좌표 업데이트에 대한 이론적 보장이 없는 경우가 많다.
• 블록 단위 업데이트와 분산 감소를 지원하는 잠금 없는, 병렬화 가능한 알고리즘을 개발한다. 이는 수렴 성능 향상에 기여한다.
• 이론적 수렴 보장을 확보한다. 강한 볼록성 하에서는 선형 수렴, 그렇지 않은 경우는 하위선형 수렴이며, 공유 메모리 시스템에서 거의 선형적인 성능 향상을 유지한다.

제안 방법

• 각 반복에서 랜덤으로 좌표 블록과 데이터 샘플을 선택하는 双중 확률적( doubly stochastic ) 기법을 사용하는 비동기적 확률적 블록 좌표 강하 알고리즘인 AsySBCDVR을 제안한다.
• 수렴를 가속화하기 위해 블록 좌표 프레임워크에 분산 감소 기법(예: SVRG 방식)을 통합한다.
• 실행 및 분석 모두에서 잠금 없는 방식으로 알고리즘을 설계하여, 공유 메모리 병렬 시스템에서의 동기화 병목 현상을 방지한다.
• 지연된 업데이트와 오래된 기울기 정보를 고려하기 위해, 왜곡된 반복 프레임워크를 사용하여 비동기 조건 하의 수렴를 분석한다.
• 진전을 추적하고 수렴 한계를 유도하기 위해 다음 리아푸노프 함수를 정의한다: $ S(x^s) = ext{E}ig[igracevert x^s - ext{Proj}_S(x^s) igracevert^2ig] + rac{2 au}{L_{ ext{max}}} ext{E}[F(x^s) - F^*] $.
• 목표 함수의 미끄러짐, 볼록성, 블록 분리 가능성을 활용하여, 각 반복에서 리아푸노프 함수의 기대 감소량을 경계함으로써 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법을 갖춘 비동기적 블록 좌표 강하 방법이 강한 볼록성과 미끄러짐이 있는 성분에 대해 선형 수렴를 달성할 수 있는가?
• RQ2 제안된 AsySBCDVR 알고리즘이 일반 볼록성 하에서도 수렴성을 유지하는가? 그 결과 수렴 속도는 어떻게 되는가?
• RQ3 잠금 없이 공유 메모리 병렬 시스템에서 거의 선형적인 성능 향상을 달성할 수 있는가?
• RQ4 비동기 조건 하에서 단일 좌표 업데이트에 비해 블록 좌표 업데이트 메커니즘이 수렴에 어떤 영향을 미치는가?
• RQ5 지연된 기울기 정보와 비동기 조건 하에서 분산 감소 비동기 블록 방법에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 부드러운 성분 $ f $ 가 강한 볼록성일 경우, AsySBCDVR은 선형 수렴 속도를 달성하며, 수렴 속도는 $ ig(1 - rac{2m au l}{2k(l au + L_{ ext{max}})}ig)^s $ 로 표현된다. 여기서 $ m $ 은 블록 수, $ k $ 는 총 블록 수, $ l $ 은 강한 볼록성 파라미터, $ au $ 는 스텝 사이즈이다.
• 일반 볼록성 하에서는 AsySBCDVR이 하위선형 수렴 속도 $ O(1/s) $ 를 달성하며, 유사한 방법들 중 최고 수준의 성능를 보인다.
• 잠금 없는 설계 덕분에 공유 메모리 시스템에서 거의 선형적인 성능 향상을 유지하여, 샘플 수와 차원 수에 따라 효율적으로 확장 가능하다.
• 이론적 분석을 통해 각 반복에서 리아푸노프 함수의 기대 감소량이 경계됨을 확인하였으며, 이는 비동기 조건과 지연된 업데이트가 존재하더라도 수렴을 보장함을 의미한다.
• 블록 분리 가능한 구조를 가진 $ g(x) $ 덕분에, Lasso, 그룹 Lasso, 희박 다중 분류 문제 등 다양한 머신러닝 문제에 적용 가능하다.
• 블록 업데이트가 원자적 단일 좌표 업데이트보다 더 복잡한 영향을 미치는 점을 고려하여, 비동기 조건 하에서도 엄밀한 경계를 설정하는 분석을 수행하였다.