[논문 리뷰] Accelerated Variance Reduced Stochastic ADMM

Yuanyuan Liu, Fanhua Shang외 1명|arXiv (Cornell University)|2017. 07. 11.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 25

한 줄 요약

이 논문은 SVRG-ADMM에 모멘타움 가속을 통합하여 더 빠른 수렴 속도 O(1/T²)를 달성하는 가속화된 분산 감소 확률적 ADMM인 ASVRG-ADMM을 제안한다. 일반 볼록 문제에 대해서는 O(1/T²) 수렴 속도를 보이며, 강한 볼록 문제에 대해서는 선형 수렴 속도를 달성한다. 이는 낮은 반복 복잡도와 메모리 사용량을 유지하면서 이루어진다.

ABSTRACT

Recently, many variance reduced stochastic alternating direction method of multipliers (ADMM) methods (e.g.\ SAG-ADMM, SDCA-ADMM and SVRG-ADMM) have made exciting progress such as linear convergence rates for strongly convex problems. However, the best known convergence rate for general convex problems is O(1/T) as opposed to O(1/T^2) of accelerated batch algorithms, where $T$ is the number of iterations. Thus, there still remains a gap in convergence rates between existing stochastic ADMM and batch algorithms. To bridge this gap, we introduce the momentum acceleration trick for batch optimization into the stochastic variance reduced gradient based ADMM (SVRG-ADMM), which leads to an accelerated (ASVRG-ADMM) method. Then we design two different momentum term update rules for strongly convex and general convex cases. We prove that ASVRG-ADMM converges linearly for strongly convex problems. Besides having a low per-iteration complexity as existing stochastic ADMM methods, ASVRG-ADMM improves the convergence rate on general convex problems from O(1/T) to O(1/T^2). Our experimental results show the effectiveness of ASVRG-ADMM.

연구 동기 및 목표

• 이전에 일반 볼록 문제에 대해 O(1/T) 수렴 속도를 보인 확률적 ADMM와 O(1/T²) 수렴 속도를 달성한 배치 알고리즘 간의 수렴 속도 격차를 해소한다.
• 낮은 반복 복잡도를 유지하면서 일반 볼록 문제에 대해 가속화된 O(1/T²) 수렴 속도를 달성하는 확률적 ADMM 변종을 개발한다.
• 배치 최적화에서 유래한 모멘타움 가속을 분산 감소 SVRG-ADMM 프레임워크에 통합하여 수렴 속도를 향상시킨다.
• 모든 기울기나 이중 변수를 저장하지 않음으로써, 일부 이전 방법과 달리 낮은 메모리 사용량을 유지한다.
• 강한 볼록 및 일반 볼록 케이스에 대한 이론적 수렴 보장을 제공하며, 명시적인 수렴 속도 분석을 수행한다.

제안 방법

• Nesterov 스타일의 모멘타움을 SVRG-ADMM 프레임워크에 통합하여 수렴 속도를 가속화하는 ASVRG-ADMM를 제안한다.
• 강한 볼록 문제와 일반 볼록 문제에 각각 맞춤형으로 설계된 두 가지 별도의 모멘타움 업데이트 규칙을 설계한다.
• 이전 반복값과 감소하는 매개변수의 시퀀스에 의존하는 재귀적 모멘타움 업데이트 메커니즘을 사용한다.
• 수렴 분석을 위해 프리마르, 이중, 모멘타움 성분과 관련된 항들을 통합한 리아푸노프 함수를 도입한다.
• 분산 감소의 영향을 고려하여 안정성과 수렴성을 확보하기 위해 반복값에 대한 가중 평균화 기법을 적용한다.
• 보조 변수 y = Ax의 구조를 활용하여 최적화를 관리하기 쉬운 하위문제로 분해하고, 기울기 및 이중 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 배치 최적화에서 유래한 모멘타움 가속이 분산 감소와 함께하는 확률적 ADMM에 성공적으로 적용될 수 있는가?
• RQ2 SVRG-ADMM에 모멘타움을 통합하면 일반 볼록 문제에 대해 향상된 수렴 속도를 달성할 수 있는가?
• RQ3 제안된 방법이 낮은 메모리 및 계산 비용을 유지하면서도 강한 볼록 문제에 대해 선형 수렴을 달성할 수 있는가?
• RQ4 기존의 SAG-ADMM 및 SVRG-ADMM와 같은 확률적 ADMM 변종과 비교해 새로운 방법의 수렴 속도는 어떻게 되는가?
• RQ5 다양한 볼록성 가정 하에 가속화된 확률적 ADMM의 수렴에 대해 어떤 이론적 보장을 도출할 수 있는가?

주요 결과

• ASVRG-ADMM는 일반 볼록 문제에 대해 O(1/T²) 수렴 속도를 달성한다. 이는 SAG-ADMM 및 SVRG-ADMM의 O(1/T) 수렴 속도보다 T 배 더 빠르다.
• 강한 볼록 문제에 대해서는 ASVRG-ADMM가 선형 수렴을 달성하며, SDCA-ADMM 및 SVRG-ADMM의 최고 수준의 수렴 속도를 재현한다.
• 낮은 반복 복잡도와 O(d₁d₂) 메모리 사용량을 유지하며, 모든 기울기나 이중 변수를 저장할 필요가 없다.
• 이론적 분석을 통해 프리마르, 이중, 모멘타움 항을 반복 과정에서 추적하는 리아푸노프 함수를 통한 수렴을 확인한다.
• 실증 결과는 ASVRG-ADMM가 수렴 속도와 해의 품질 측면에서 최신 기술의 확률적 ADMM 방법들을 능가함을 보여준다.
• 수렴 경계는 문제에 따라 달라지는 상수, 즉 리프시츠 상수 L, 이중 변수의 유계 Dλ, 행렬 노름 ||AᵀA||₂에 의존하며, 분모에 T의 제곱에 명시적인 의존성을 보인다.