[논문 리뷰] Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization

Feihu Huang, Songcan Chen외 1명|arXiv (Cornell University)|2016. 10. 10.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 12

한 줄 요약

이 논문은 비볼록 최적화를 위한 세 가지 분산 감소 확률적 ADMM 변종—SVRG-ADMM, SAG-ADMM, SAGA-ADMM—을 제안한다. 이는 분산 감소된 확률적 경사하강법을 활용하여 수렴 속도를 가속화한다. 온건한 조건 하에서, 이 방법들은 ε-정류해를 찾기 위해 O(1/ε) 반복 복잡도를 달성하며, 분산 감소를 갖는 비볼록 확률적 ADMM를 분석하는 일반적인 프레임워크를 제공한다.

ABSTRACT

In the paper, we study the stochastic alternating direction method of multipliers (ADMM) for the nonconvex optimizations, and propose three classes of the nonconvex stochastic ADMM with variance reduction, based on different reduced variance stochastic gradients. Specifically, the first class called the nonconvex stochastic variance reduced gradient ADMM (SVRG-ADMM), uses a multi-stage scheme to progressively reduce the variance of stochastic gradients. The second is the nonconvex stochastic average gradient ADMM (SAG-ADMM), which additionally uses the old gradients estimated in the previous iteration. The third called SAGA-ADMM is an extension of the SAG-ADMM method. Moreover, under some mild conditions, we establish the iteration complexity bound of $O(1/ε)$ of the proposed methods to obtain an $ε$-stationary solution of the nonconvex optimizations. In particular, we provide a general framework to analyze the iteration complexity of these nonconvex stochastic ADMM methods with variance reduction. Finally, some numerical experiments demonstrate the effectiveness of our methods.

연구 동기 및 목표

• 확률적 ADMM의 수렴 속도 저하 문제를 해결하기 위해, 확률적 경사하강법의 높은 분산으로 인한 비볼록 최적화에서의 영향을 완화한다.
• SVRG, SAG, SAGA와 같은 분산 감소 기법을 비볼록 문제에 적용하기 위해 ADMM 프레임워크로 확장한다.
• 분산 감소를 갖는 비볼록 확률적 ADMM를 위한 일반적인 수렴 분석 프레임워크를 수립한다.
• 비볼록 설정에서 ε-정류해를 찾기 위해 O(1/ε) 반복 복잡도를 달성한다.
• 비볼록 모델에 대한 수치 실험을 통해 제안된 방법의 유효성을 검증한다.

제안 방법

• 다단계 기반의 설계를 통해 확률적 ADMM에서 경사하강법의 분산을 점진적으로 감소시키는 SVRG-ADMM를 도입한다.
• 이전 반복에서 계산된 이전 경사하강법을 통합하여 분산을 감소시키는 SAG-ADMM를 개발한다.
• SAG-ADMM의 확장으로서 더 효율적인 경사하강법 갱신 전략을 통해 수렴을 향상시키는 SAGA-ADMM를 제안한다.
• 일반적인 리아푸노프 함수 기반 분석을 통해 온건한 가정 하에서 수렴 보장을 유도한다.
• 비볼록 설정에서 ADMM 하위 문제의 안정성을 확보하기 위해 분산 감소된 확률적 경사하강법 추정기를 활용한다.
• 수렴을 보장하기 위해 단계 크기 규칙과 이중 변수 갱신 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 분산 감소 확률적 경사하강법 기법이 비볼록 최적화를 위한 ADMM 프레임워크에 효과적으로 적용될 수 있는가?
• RQ2 비볼록 설정에서 분산 감소를 갖는 확률적 ADMM의 반복 복잡도는 무엇인가?
• RQ3 SVRG, SAG, SAGA 변종은 비볼록 ADMM에서 성능과 수렴 특성 측면에서 어떻게 비교되는가?
• RQ4 분산 감소를 갖는 비볼록 확률적 ADMM를 위한 통합된 수렴 분석 프레임워크를 수립할 수 있는가?
• RQ5 비볼록 확률적 ADMM에서 ε-정류해로의 수렴을 보장하기 위한 조건은 무엇인가?

주요 결과

• 제안된 비볼록 확률적 ADMM 방법들은 ε-정류해를 찾기 위해 O(1/ε) 반복 복잡도를 달성하며, 비볼록 확률적 최적화에서 알려진 최고의 수렴 속도와 일치한다.
• SAGA-ADMM 변종은 반복 수 T에 대해 O(1/T)의 수렴 속도로 ε-정류해에 수렴한다.
• 이론적 분석을 통해, 경사하강법의 리프시츠 연속성과 유한한 분산이라는 온건한 가정 하에서 방법들이 정류해에 수렴함을 확인한다.
• 수치 실험을 통해 제안된 방법들이 표준 확률적 ADMM에 비해 효과적이고 더 빠른 수렴을 보임을 입증한다.
• 이 프레임워크는 로버스트 그래프 가이드드 학습 및 스파arsity 학습을 포함한 다양한 비볼록 모델에 잘 일반화된다.
• 이 방법들은 과거 경사하강법이나 이중 변수를 저장하기 위한 추가 메모리가 필요 없어, 대규모 문제에 대해 확장 가능하다.