[논문 리뷰] Accelerated Stochastic ADMM with Variance Reduction

Chao Zhang, Zebang Shen외 4명|arXiv (Cornell University)|2016. 11. 13.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 변동성 감소와 네스터프 스타일 가속화를 결합한 새로운 확률적 ADMM 알고리즘인 가속화된 SVRG-ADMM(ASVRG-ADMM)을 제안한다. 이 알고리즘은 부드러움 상수 L_f에 대해 최적의 O(1/N²) 수렴 속도를 달성한다. 본 방법은 보조 변수와 적응형 모멘타ム을 사용하여 대규모 경험 위험 최소화 문제에서 수렴 속도를 가속화한다.

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular method for solving large-scale Machine Learning problems. Stochastic ADMM was proposed to reduce the per iteration computational complexity, which is more suitable for big data problems. Recently, variance reduction techniques have been integrated with stochastic ADMM in order to get a faster convergence rate, such as SAG-ADMM and SVRG-ADMM. However, their convergence rate is still suboptimal w.r.t the smoothness constant. In this paper, we propose an accelerated stochastic ADMM algorithm with variance reduction, which enjoys a faster convergence than all the existing stochastic ADMM algorithms. We theoretically analyse its convergence rate and show its dependence on the smoothness constant is optimal. We also empirically validate its effectiveness and show its priority over other stochastic ADMM algorithms.

연구 동기 및 목표

• 기존의 확률적 ADMM 방법들이 가지는 비최적의 수렴 속도 문제를 해결한다. 특히, 대규모 데이터셋에서 성능을 제한하는 O(1/√N) 수렴 속도를 개선한다.
• SVRG와 같은 변동성 감소 기법과 네스터프 스타일 가속화를 통합하여 부드러움 상수 L_f에 대해 더 빠른 수렴을 달성한다.
• 특히 L_f가 큰 경우(빅데이터에서 발생하는 경우)에 중요한 대규모 문제에 대해 낮은 반복당 계산 비용을 유지하면서도 최적의 수렴 속도를 달성하는 방법을 개발한다.
• 이론적 및 실증적 검증을 통해 SAG-ADMM, SVRG-ADMM 및 결정론적 가속화 ADMM보다 빅데이터 환경에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 변동성 감소(SVRG)와 네스터프 유형의 가속화를 보조 변수를 통해 통합한 확률적 ADMM의 변종인 ASVRG-ADMM을 제안한다. 이는 수렴 속도를 향상시킨다.
• 반복 과정에서 변화하는 적응형 가중치 α₂,s와 α₃,s를 사용하는 모멘타ム 기반 업데이트 규칙을 도입하여 수렴 속도를 가속화하면서도 안정성을 유지한다.
• x 업데이트를 단순화하기 위해 선형화된 증강 라그랑주 방법을 도입하여, (L̄I + β₁AᵀA)⁻¹를 사전 계산함으로써 효율적인 계산을 가능하게 한다.
• 하이브리드 업데이트 전략을 적용하여 x 업데이트에 현재 반복값, 이전 평균화된 반복값, 그리고 모멘타움 항을 조합함으로써 변동성을 감소시키고 수렴 속도를 가속화한다.
• 수렴 속도 향상을 위해 모멘타움과 변동성 감소 기반 기울기 추정치를 추적하는 데 사용되는 보조 점 ỹ_s와 ỹ_s^ag의 집합을 유지한다.
• 단계 크기 파rameter η_s와 ρ_s는 반복 과정에 따라 동적으로 조정되어 시간이 지남에 따라 효과적인 단계 크기를 증가시켜 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 변동성 감소와 네스터프 가속화가 확률적 ADMM 프레임워크 내에서 효과적으로 통합되어 기존 방법보다 더 빠른 수렴을 이룰 수 있는가?
• RQ2 제안된 ASVRG-ADMM가 결정론적 가속화 방법과 마찬가지로 부드러움 상수 L_f에 대해 최적의 O(1/N²) 수렴 속도를 달성하는가?
• RQ3 빅데이터에서 발생하는 고L_f 값(예: covtype 데이터셋에서 L_f ≈ 2.02×10⁷)을 가진 대규모 경험 위험 최소화 문제에서 실제 성능은 어떠한가?
• RQ4 SAG-ADMM 및 SVRG-ADMM와 비교해 더 빠른 수렴을 달성하면서도 낮은 반복당 계산 비용을 유지할 수 있는가?

주요 결과

• ASVRG-ADMM는 부드러움 상수 L_f에 대해 최적의 O(1/N²) 수렴 속도를 달성하며, 이는 결정론적 가속화 방법과 동일한 성능을 보인다.
• L_f가 큰 경우(예: covtype 데이터셋에서 L_f ≈ 2.02×10⁷), ASVRG-ADMM는 50회 데이터의 유효 라운드 이후에도 SAG-ADMM 및 SVRG-ADMM보다 유의미하게 더 빨리 수렴한다.
• L_f가 낮은 작은 데이터셋(a9a, w8a, ijcnn1)에서도 ASVRG-ADMM는 20회의 유효 라운드 이내에 두 기준 방법보다 더 빠르게 수렴하여 일관된 우수성을 입증한다.
• 모든 테스트된 네 개의 데이터셋에서 다양한 데이터 분포와 스케일에 대해 안정적인 성능을 보이며, 목적 함수 값이 경쟁 방법보다 더 빠르게 감소한다.
• 행렬 역행렬을 사전 계산하고 적응형 단계 크기를 사용함으로써 낮은 계산 오버헤드를 유지하여 대규모 문제에 대한 확장성 확보.
• m=1일 때 ASVRG-ADMM는 Ouyang 등(2015)의 결정론적 가속화 ADMM로 축소되며, 이는 이전 연구와의 일관성을 확인한다.