[논문 리뷰] Faster Stochastic Alternating Direction Method of Multipliers for Nonconvex Optimization

Feihu Huang, Songcan Chen외 1명|arXiv (Cornell University)|2020. 08. 04.

Sparse and Compressive Sensing Techniques인용 수 19

한 줄 요약

이 논문은 새로운 스토하스틱 길이-통합 미분 추정기(SPIDER)를 사용하여 비볼록 최적화를 위한 더 빠른 스토하스틱 교차방향 승수법(ADMM)인 SPIDER-ADMM를 제안한다. 이는 $\mathcal{O}(n + n^{1/2}ε^{-1})$의 최적의 증분 제1차 오ракูล(IFO) 복잡도를 달성하며, 기존 방법들보다 $\mathcal{O}(n^{1/6})$의 요소로 향상되었고, 비볼록 스토하스틱 ADMM를 분석하기 위한 새로운 이론적 프레임워크를 수립한다.

ABSTRACT

In this paper, we propose a faster stochastic alternating direction method of multipliers (ADMM) for nonconvex optimization by using a new stochastic path-integrated differential estimator (SPIDER), called as SPIDER-ADMM. Moreover, we prove that the SPIDER-ADMM achieves a record-breaking incremental first-order oracle (IFO) complexity of $\mathcal{O}(n+n^{1/2}ε^{-1})$ for finding an $ε$-approximate stationary point, which improves the deterministic ADMM by a factor $\mathcal{O}(n^{1/2})$, where $n$ denotes the sample size. As one of major contribution of this paper, we provide a new theoretical analysis framework for nonconvex stochastic ADMM methods with providing the optimal IFO complexity. Based on this new analysis framework, we study the unsolved optimal IFO complexity of the existing non-convex SVRG-ADMM and SAGA-ADMM methods, and prove they have the optimal IFO complexity of $\mathcal{O}(n+n^{2/3}ε^{-1})$. Thus, the SPIDER-ADMM improves the existing stochastic ADMM methods by a factor of $\mathcal{O}(n^{1/6})$. Moreover, we extend SPIDER-ADMM to the online setting, and propose a faster online SPIDER-ADMM. Our theoretical analysis shows that the online SPIDER-ADMM has the IFO complexity of $\mathcal{O}(ε^{-\frac{3}{2}})$, which improves the existing best results by a factor of $\mathcal{O}(ε^{-\frac{1}{2}})$. Finally, the experimental results on benchmark datasets validate that the proposed algorithms have faster convergence rate than the existing ADMM algorithms for nonconvex optimization.

연구 동기 및 목표

• 비볼록 스토하스틱 ADMM 방법에 대한 최적의 증분 제1차 오라클(IFO) 복잡도 분석의 부족을 해결하기 위해.
• 비볼록 설정에서 스토하스틱 ADMM가 결정론적 ADMM보다 낮은 IFO 복잡도를 달성할 수 있는지에 대한 질문에 답하기 위해.
• 최적의 수렴 보장을 갖춘 비볼록 스토하스틱 ADMM를 분석하기 위한 새로운 이론적 분석 프레임워크를 개발하기 위해.
• 분산 감소 기법을 활용하여 기존 비볼록 스토하스틱 ADMM들인 SVRG-ADMM 및 SAGA-ADMM의 IFO 복잡도를 향상시키기 위해.
• 제안된 방법을 온라인 설정으로 확장하여 그 영역에서 개선된 IFO 복잡도를 달성하기 위해.

제안 방법

• 비볼록 최적화에서 기울기 분산을 줄이기 위해 SPIDER 추정기를 사용하는 스토하스틱 ADMM 변종인 SPIDER-ADMM를 제안한다.
• 경로 통합 미분 추정기를 기반으로 한 새로운 이론적 분석 프레임워크를 도입하여 보정 라그랑지안의 기울기 노름의 기대값을 제한한다.
• 보정 라그랑지안의 기울기와의 기대 거리 분석을 통해 수렴 보장을 도출하며, $ε$-근사 정적점으로의 수렴을 보장한다.
• 수렴 보장을 위해 반복 횟수를 목표 정확도 $ε$와 표본 크기 $n$과 연결하여 IFO 복잡도 한계를 수립한다.
• SPIDER-ADMM를 온라인 설정으로 확장하여, $\mathcal{O}(ε^{-3/2})$의 IFO 복잡도를 갖는 온라인 SPIDER-ADMM를 제안한다.
• 안정성과 수렴을 보장하기 위해 단계 크기 $η = \frac{\alpha \sigma_{\min}(G)}{17L}$ 와 페널티 파라미터 $ρ = \frac{2\sqrt{2031}\kappa_G}{\sigma^{A}_{\min}\alpha}$ 를 사용한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 스토하스틱 ADMM가 결정론적 ADMM보다 낮은 증분 제1차 오라클(IFO) 복잡도를 달성할 수 있는가?
• RQ2 비볼록 스토하스틱 ADMM 방법이 달성할 수 있는 최적의 IFO 복잡도는 무엇인가?
• RQ3 기존의 비볼록 SVRG-ADMM 및 SAGA-ADMM 방법들이 최적의 IFO 복잡도를 달성하는가? 만약 그렇지 않다면 그 진정한 복잡도는 무엇인가?
• RQ4 SPIDER 추정기는 비볼록 문제에 대해 ADMM에 효과적으로 통합되어 더 빠른 수렴을 이끌 수 있는가?
• RQ5 온라인 비볼록 ADMM 설정에서 최적의 IFO 복잡도는 무엇이며, 이를 향상시킬 수 있는가?

주요 결과

• SPIDER-ADMM는 비볼록 유한합 문제에서 $ε$-근사 정적점에 도달하기 위해 $\mathcal{O}(n + n^{1/2}\epsilon^{-1})$의 IFO 복잡도를 달성한다.
• 이 복잡도는 결정론적 ADMM에 비해 $\mathcal{O}(n^{1/2})$의 요소로 향상되었으며, 기존의 스토하스틱 ADMM들보다 $\mathcal{O}(n^{1/6})$의 요소로 향상되었다.
• 논문은 SVRG-ADMM 및 SAGA-ADMM가 최적의 IFO 복잡도 $\mathcal{O}(n + n^{2/3}\epsilon^{-1})$를 갖는다는 것을 증명하며, 그 효율성에 대한 열린 질문을 해결한다.
• 온라인 SPIDER-ADMM는 $\mathcal{O}(\epsilon^{-3/2})$의 IFO 복잡도를 달성하여 기존 최고 성능 결과보다 $\mathcal{O}(\epsilon^{-1/2})$의 요소로 향상되었다.
• 이론적 분석을 통해 제안된 프레임워크가 적절한 파라미터 설정 하에 $ε$-근사 정적점으로의 수렴을 $\mathcal{O}(1/T)$ 속도로 보장함을 확인한다.
• 기본 데이터셋에서의 실험 결과는 SPIDER-ADMM가 비볼록 최적화를 위한 기존 ADMM 방법들보다 더 빠르게 수렴한다는 것을 검증한다.