[논문 리뷰] Fast-and-Light Stochastic ADMM

Shuai Zheng, James T. Kwok|arXiv (Cornell University)|2016. 04. 24.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 32

한 줄 요약

이 논문은 Stochastic Variance Reduced Gradient (SVRG) 방법을 ADMM에 통합하여, SAG-ADMM 및 SDCA-ADMM와 유사한 빠른 수렴 속도를 달성하면서도 샘플 수 n에 따라 변하지 않는 메모리 사용량을 가지는 새로운 Fast-and-Light Stochastic ADMM 알고리즘을 제안한다. 실험 결과는 이 알고리즘이 최신 기법들과 유사한 속도를 보이며 더 큰 데이터셋에 대해 확장 가능하다고 확인한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is a powerful optimization solver in machine learning. Recently, stochastic ADMM has been integrated with variance reduction methods for stochastic gradient, leading to SAG-ADMM and SDCA-ADMM that have fast convergence rates and low iteration complexities. However, their space requirements can still be high. In this paper, we propose an integration of ADMM with the method of stochastic variance reduced gradient (SVRG). Unlike another recent integration attempt called SCAS-ADMM, the proposed algorithm retains the fast convergence benefits of SAG-ADMM and SDCA-ADMM, but is more advantageous in that its storage requirement is very low, even independent of the sample size n. Experimental results demonstrate that it is as fast as SAG-ADMM and SDCA-ADMM, much faster than SCAS-ADMM, and can be used on much bigger data sets.

연구 동기 및 목표

• SAG-ADMM 및 SDCA-ADMM와 같은 기존의 스위치드 ADMM 변종들이 샘플 수 n에 따라 증가하는 높은 메모리 요구량 문제를 해결하기 위해.
• 빠른 수렴 속도를 유지하면서도 저장 오버헤드를 최소화하는 스위치드 ADMM 변종을 개발하기 위해.
• SVRG를 ADMM에 효과적으로 통합하여 수렴 속도를 유지하면서 공간 복잡도를 감소시키기 위해.
• 메모리가 제한되는 대규모 머신 러닝 문제에서 효율적인 최적화를 가능하게 하기 위해.

제안 방법

• 새로운 ADMM 변종을 제안하며, 이는 분할 정복 방법의 다중수단과 Stochastic Variance Reduced Gradient (SVRG) 기법을 결합한다.
• 이중 업데이트 단계에서 기울기 분산을 줄이기 위해 SVRG를 사용하여 수렴 안정성과 속도를 향상시킨다.
• SAG-ADMM 및 SDCA-ADMM와 달리 샘플 수 n에 따라 스케일링되지 않는 저장 요구량을 갖도록 알고리즘을 설계한다.
• 기본 ADMM와 동일한 반복 구조를 유지하지만, 기울기 추정 방법을 SVRG 기반 업데이트로 대체한다.
• 모든 샘플 기울기 기록을 저장하지 않아도 되는 제어 변수 메커니즘을 SVRG에 도입하여 스위치드 기울기의 분산을 줄인다.
• SAG-ADMM 및 SDCA-ADMM와 달리 각 샘플의 기울기 정보를 저장할 필요가 없기 때문에 낮은 메모리 사용량을 달성한다.

실험 결과

연구 질문

• RQ1 SVRG가 ADMM에 효과적으로 통합되어 빠른 수렴과 낮은 메모리 사용량을 동시에 달성할 수 있는가?
• RQ2 제안된 알고리즘이 SAG-ADMM 및 SDCA-ADMM와 비교해 수렴 속도와 확장성 측면에서 어떻게 성능을 내는가?
• RQ3 SCAS-ADMM에 비해 저장 복잡도를 감소시켜도 빠른 수렴 속도를 유지하는가?
• RQ4 낮은 메모리 프로파일 덕분에 기존의 스위치드 ADMM 방법보다 더 큰 데이터셋을 처리할 수 있는가?

주요 결과

• 제안된 알고리즘은 SAG-ADMM 및 SDCA-ADMM와 유사한 수렴 속도를 달성하여 대규모 문제에서 빠른 수렴을 보여준다.
• 저장 요구량이 샘플 수 n과 무관하여 SAG-ADMM 및 SDCA-ADMM보다 훨씬 메모리 효율적이다.
• 이론적 수렴 속도는 비슷하나 실질적으로 SCAS-ADMM보다 훨씬 빠른 성능을 보인다.
• 실험 결과는 낮은 메모리 사용량과 높은 속도 덕분에 이 방법이 큰 데이터셋에 효과적으로 확장됨을 확인한다.