[논문 리뷰] Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization

Feihu Huang, Songcan Chen|arXiv (Cornell University)|2018. 02. 08.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 10

한 줄 요약

이 논문은 대규모 비볼록 비스무스 최적화를 위한 미니배치 스토하스틱 ADMM 변종을 제안하며, 분산 감소 기법을 요구하지 않고도 정류점으로의 O(1/T) 수렴 속도를 달성한다. 이 방법은 비볼록 SVRG-ADMM 및 SAGA-ADMM로 스토하스틱 기울기 방법을 확장하며, 고정된 스텝 사이즈 하에서 수렴성을 증명하고 스텝 사이즈 및 페널티 파라미터에 대한 명시적인 파라미터 선택 규칙을 제공한다.

ABSTRACT

With the large rising of complex data, the nonconvex models such as nonconvex loss function and nonconvex regularizer are widely used in machine learning and pattern recognition. In this paper, we propose a class of mini-batch stochastic ADMMs (alternating direction method of multipliers) for solving large-scale nonconvex nonsmooth problems. We prove that, given an appropriate mini-batch size, the mini-batch stochastic ADMM without variance reduction (VR) technique is convergent and reaches a convergence rate of $O(1/T)$ to obtain a stationary point of the nonconvex optimization, where $T$ denotes the number of iterations. Moreover, we extend the mini-batch stochastic gradient method to both the nonconvex SVRG-ADMM and SAGA-ADMM proposed in our initial manuscript \cite{huang2016stochastic}, and prove these mini-batch stochastic ADMMs also reaches the convergence rate of $O(1/T)$ without condition on the mini-batch size. In particular, we provide a specific parameter selection for step size $η$ of stochastic gradients and penalty parameter $ρ$ of augmented Lagrangian function. Finally, extensive experimental results on both simulated and real-world data demonstrate the effectiveness of the proposed algorithms.

연구 동기 및 목표

• 기계 학습 및 패턴 인식 분야에서 대규모 비볼록 비스무스 최적화 문제를 해결하는 데 도전하는 것.
• 비볼록 손실 함수와 정규화를 가진 거대한 데이터 세트에 스케일링 가능한 효율적인 스토하스틱 ADMM 변종을 개발하는 것.
• 고정된 스텝 사이즈 하에서 분산 감소 없이도 미니배치 스토하스틱 ADMM의 수렴 보장을 확립하는 것.
• 비볼록 SVRG-ADMM 및 SAGA-ADMM로 프레임워크를 확장하여, 미니배치 크기 제약 없이도 O(1/T) 수렴 속도를 유지하는 것.
• 비볼록 설정에서 스텝 사이즈 및 페널티 파라미터에 대한 실용적인 파라미터 선택 규칙을 제공하는 것.

제안 방법

• 데이터의 미니배치에서 스토하스틱 기울기를 사용하여 비볼록 비스무스 문제에 대한 미니배치 스토하스틱 ADMM(STOC-ADMM)를 제안한다.
• 분산 감소 없이도, 미니배치 크기 M = O(1/ϵ) 조건 하에서 고정된 스텝 사이즈 η로 ϵ-정류점으로의 O(1/T) 수렴 속도를 증명한다.
• 방법을 비볼록 SVRG-ADMM 및 SAGA-ADMM로 확장하여, 미니배치 크기 의존 없이도 O(1/T) 수렴 속도를 유지한다.
• 명시적인 파라미터 선택 규칙 도입: 수렴을 위해 특정 조건 (18), (24), (31)을 만족하는 스텝 사이즈 η 및 페널티 파라미터 ρ.
• 선형 대체 변수, 이중 변수, 슬랙 변수에 대한 교차 갱신을 포함한 보완 라그랑주 방법을 적용한다.
• 감소 스케줄이 아닌 고정된 스텝 사이즈 η를 사용하여 실무에서 더 빠른 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산 감소 없이도, 미니배치 스토하스틱 ADMM가 비볼록 비스무스 최적화에서 정류점으로 O(1/T) 수렴 속도를 달성할 수 있는가?
• RQ2 기존 볼록 설정에서의 감소 스텝 사이즈 스케줄과는 달리, 제안된 STOC-ADMM가 고정된 스텝 사이즈 하에서도 수렴성과 빠른 수렴 속도를 유지하는가?
• RQ3 비볼록 SVRG-ADMM 및 SAGA-ADMM 변종으로 프레임워크를 성공적으로 확장할 수 있으며, 동일한 O(1/T) 수렴 속도를 달성하는가?
• RQ4 비볼록 ADMM 설정에서 수렴을 보장하기 위해 스텝 사이즈 η 및 페널티 파라미터 ρ에 적절한 선택은 무엇인가?
• RQ5 실제 데이터 및 시뮬레이션 데이터 세트에서 제안된 알고리즘들이 결정론적 ADMM 및 기타 스토하스틱 변종과 실무적으로 어떻게 비교되는가?

주요 결과

• 분산 감소 없이도, 고정된 스텝 사이즈 η를 사용하는 미니배치 스토하스틱 ADMM(STOC-ADMM)는 ϵ-정류점으로 O(1/T) 수렴 속도를 달성한다.
• 제안된 비볼록 SVRG-ADMM 및 SAGA-ADMM 변종 역시, 미니배치 크기 제약 없이도 O(1/T) 수렴 속도를 달성한다.
• 시뮬레이션 및 실세계 데이터 세트(예: mnist8m, covtype)에 대한 광범위한 실험 결과, STOC-ADMM는 CPU 시간 대비 목적 함수 값과 테스트 손실 감소 측면에서 결정론적 ADMM를 능가한다.
• 특히 조건 (18), (24), (31)을 만족하는 ρ 값일 경우, 페널티 파라미터 ρ의 다양한 값에 대해 알고리즘이 강건한 성능을 보인다.
• 분산 감소를 사용하지 않음에도 불구하고, 고정된 η를 사용하는 STOC-ADMM는 실무에서 SVRG-ADMM 및 SAGA-ADMM와 유사한 성능을 보인다.
• η 및 ρ에 대한 파라미터 선택 규칙은 다양한 데이터 세트와 문제 유형에서 안정적이고 빠른 수렴을 보장함을 실증적으로 검증하였다.