[논문 리뷰] Scalable Stochastic Alternating Direction Method of Multipliers

Shen-Yi Zhao, Wu-Jun Li외 1명|arXiv (Cornell University)|2015. 02. 12.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 17

한 줄 요약

이 논문은 일반적인 볼록 문제에 대해 역사적 기울기를 저장하지 않으면서도 O(1/T) 수렴 속도를 달성하는 확장 가능한 확률적 ADMM 방법인 SCAS-ADMM을 제안한다. 이는 이전 최고 성능 방법들인 SA-ADMM의 메모리 병목 현상을 극복한다. 이 방법은 확률적 근사와 적응형 스텝 사이즈, 모멘타를 조합하여 빠른 수렴을 유지하면서도 낮은 저장 비용을 보장한다. 그래프 가중치가 있는 융합 라소 작업에서 최고 성능을 보여준다.

ABSTRACT

Stochastic alternating direction method of multipliers (ADMM), which visits only one sample or a mini-batch of samples each time, has recently been proved to achieve better performance than batch ADMM. However, most stochastic methods can only achieve a convergence rate $O(1/\sqrt T)$ on general convex problems,where T is the number of iterations. Hence, these methods are not scalable with respect to convergence rate (computation cost). There exists only one stochastic method, called SA-ADMM, which can achieve convergence rate $O(1/T)$ on general convex problems. However, an extra memory is needed for SA-ADMM to store the historic gradients on all samples, and thus it is not scalable with respect to storage cost. In this paper, we propose a novel method, called scalable stochastic ADMM(SCAS-ADMM), for large-scale optimization and learning problems. Without the need to store the historic gradients, SCAS-ADMM can achieve the same convergence rate $O(1/T)$ as the best stochastic method SA-ADMM and batch ADMM on general convex problems. Experiments on graph-guided fused lasso show that SCAS-ADMM can achieve state-of-the-art performance in real applications

연구 동기 및 목표

• 기존의 확률적 ADMM 방법들이 느린 수렴 속도(O(1/√T))를 보이거나 모든 샘플의 역사적 기울기를 저장해야 하는 메모리 문제로 인해 확장성에 한계를 가진다는 점을 해결하기 위해.
• 모든 기울기 이력을 저장하지 않으면서도 일반 볼록 문제에 대해 최적의 O(1/T) 수렴 속도를 달성하는 확률적 ADMM 변종을 개발하기 위해.
• 계산 및 저장 확장성을 보장하여 대규모 최적화 및 머신러닝 작업에 효율적으로 적용할 수 있도록 하기 위해.
• 실세계 문제들, 예를 들어 그래프 가중치가 있는 융합 라소 문제에서의 경험적 평가를 통해 방법의 우수성을 검증하기 위해.

제안 방법

• SCAS-ADMM는 기울기 추정치의 재귀적 업데이트를 활용하여 전체 기울기를 저장하지 않는 확률적 근사 프레임워크를 사용한다.
• 증강 라그랑주 함수의 리프시츠 상수를 기반으로 한 적응형 스텝 사이즈 전략을 도입하여 수렴 안정성을 확보한다.
• 수렴 속도를 가속화하면서도 O(1/T) 수렴 속도를 유지하기 위해 이중 변수 업데이트 단계에서 모멘타 유사 업데이트를 적용한다.
• 작은 배치 샘플링 기반의 재구성으로 ADMM 하위 문제를 재정의하여 반복당 비용을 줄이면서도 수렴 보장을 유지한다.
• 모든 역사적 기울기를 명시적으로 저장하지 않고 현재 반복값과 과거 기울기의 이동 평균에 의존하는 이중 변수 업데이트를 통합한다.
• 이론적 분석을 통해 SCAS-ADMM가 일반 볼록 조건 하에서 O(1/T) 수렴 속도를 달성함을 증명한다. 이는 배치 ADMM 및 SA-ADMM와 동일한 성능이다.

실험 결과

연구 질문

• RQ1 모든 샘플의 역사적 기울기를 저장하지 않으면서도 확률적 ADMM 방법이 O(1/T) 수렴 속도를 달성할 수 있는가?
• RQ2 SA-ADMM에 비해 메모리 사용을 크게 줄이면서도 빠른 수렴을 유지할 수 있는가?
• RQ3 실세계 대규모 학습 문제에서 기존의 확률적 ADMM 방법들과 비교해 SCAS-ADMM의 성능은 어떠한가?
• RQ4 강한 볼록 조건 없이 일반 볼록 조건 하에서도 제안된 방법이 수렴 보장을 유지할 수 있는가?
• RQ5 대규모 최적화 작업에서 계산 및 메모리 면에서 SCAS-ADMM가 효과적으로 확장될 수 있는가?

주요 결과

• SCAS-ADMM는 일반 볼록 문제에 대해 O(1/T) 수렴 속도를 달성하며, 배치 ADMM 및 SA-ADMM의 최고 성능 수렴 속도를 따라간다.
• SA-ADMM와 달리 SCAS-ADMM는 모든 샘플의 역사적 기울기를 저장할 필요가 없어 메모리 사용 측면에서 확장 가능하다.
• SCAS-ADMM는 그래프 가중치가 있는 융합 라소 문제에서 기존의 확률적 ADMM 변종보다 최고 성능을 보여준다.
• 경험적 결과는 대규모 환경에서 SCAS-ADMM가 SA-ADMM보다 더 빠르게 수렴하고 더 낮은 메모리 프로파일을 보임을 확인한다.
• 이론적 분석을 통해 SCAS-ADMM가 유계 리프시츠 기울기를 가진 일반 볼록 조건 하에서도 수렴을 유지함을 확인했다.
• 알고리즘은 다양한 문제 규모에서 안정적으로 작동하며, 하이퍼파rameter를 광범위하게 튜닝하지 않아도 안정된 성능을 유지한다.