[논문 리뷰] Stochastic ADMM for Nonsmooth Optimization

Hua Ouyang, Niao He외 1명|arXiv (Cornell University)|2012. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 15

한 줄 요약

이 논문은 선형 등호 제약 조건 하에서 비미분 가능 볼록 최적화 문제에 대해 확률적 목적 함수를 가진 Stochastic Alternating Direction Method of Multipliers (ADMM)를 제안한다. 확률적 성분에 대한 일阶 근사와 하위기울기 정보를 활용함으로써, 볼록 함수의 경우 $O(1/\sqrt{t})$ 및 강한 볼록 함수의 경우 $O(\log t / t)$의 수렴 속도를 달성하며, 목적 함수 값과 타당성 위반에 대해 이전에 알려지지 않은 명시적 수렴 속도를 확립한다.

ABSTRACT

We present a stochastic setting for optimization problems with nonsmooth convex separable objective functions over linear equality constraints. To solve such problems, we propose a stochastic Alternating Direction Method of Multipliers (ADMM) algorithm. Our algorithm applies to a more general class of nonsmooth convex functions that does not necessarily have a closed-form solution by minimizing the augmented function directly. We also demonstrate the rates of convergence for our algorithm under various structural assumptions of the stochastic functions: $O(1/\sqrt{t})$ for convex functions and $O(\log t/t)$ for strongly convex functions. Compared to previous literature, we establish the convergence rate of ADMM algorithm, for the first time, in terms of both the objective value and the feasibility violation.

연구 동기 및 목표

• 선형 제약 조건 하에서 비미분 가능이고 확률적인 목적 함수를 가진 대규모 분산 최적화 문제를 다루기 위해.
• 진짜 데이터 분포를 완전히 알지 못하더라도 노이즈가 있거나 표본화된 데이터를 다룰 수 있는 ADMM의 확률적 변종을 개발하기 위해.
• 이전에 문헌에서 제공되지 않았던 목적 함수 값과 타당성 위반에 대한 수렴 속도를 확립하기 위해.
• 비미분 가능 함수(예: 힌지 손실)에 대해 반복적인 하위문제 해결 없이도 닫힌 형태의 업데이트를 가능하게 하기 위해.
• 보조 라그랑주 프레임워크 하에서 닫힌 형태의 해가 없는 일반적인 볼록 함수의 더 넓은 클래스로 ADMM를 일반화하기 위해.

제안 방법

• 확률적 목적 함수 $\theta_1(\mathbf{x}, \bm{\xi})$ 의 일阶 근사를 사용하여 보조 라그랑주 함수의 직접 최소화를 피하는 Stochastic ADMM 알고리즘을 제안한다.
• 확률적 샘플링 하에서 수렴을 보장하기 위해 $\mathbf{x}_{k+1}$ 의 수정된 업데이트 규칙을 제안하며, 이는 $\theta_1(\mathbf{x}_k, \bm{\xi}_{k+1})$ 의 하위기울기를 기반으로 한다.
• 수렴성과 안정성의 균형을 이루기 위해 감소하는 스텝 크기 $\eta_{k+1}$ 와 고정된 페널티 파라미터 $\beta$ 를 사용한다.
• 보조 라그랑주 프레임워크를 사용하며, 이중 변수 $\bm{\lambda}$ 는 $\bm{\lambda}_{k+1} = \bm{\lambda}_k + \beta(A\mathbf{x}_{k+1} + B\mathbf{y}_{k+1} - \mathbf{b})$ 를 통해 업데이트된다.
• 리아파노프 함수를 사용하여 수렴 한계를 유도하고, 스토크래틱 하위기울기 오차를 제어하기 위해 얀의 부등식을 적용한다.
• 목적 오차와 제약 위반을 동시에 추적하는 새로운 분석 프레임워크를 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 진짜 목적 함수가 노이즈가 있는 샘플을 통해만 접근 가능한 경우, ADMM는 확률적 비미분 최적화 문제로 확장될 수 있는가?
• RQ2 이러한 확률적 환경에서 목적 함수 값과 타당성 위반에 대해 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 비미분 가능 함수(예: 힌지 손실)에 대해 반복적인 하위문제 해결 없이도 닫힌 형태의 업데이트를 가능하게 하기 위해 알고리즘은 어떻게 설계할 수 있는가?
• RQ4 일반 볼록 함수와 강한 볼록 함수에 대해 각각 $O(1/\sqrt{t})$ 와 $O(\log t / t)$ 의 수렴 속도를 달성하는 것은 가능한가?
• RQ5 제안된 방법은 온라인 ADMM 및 결정론적 ADMM에 비해 수렴 보장과 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 Stochastic ADMM는 일반 볼록 함수에 대해 $O(1/\sqrt{t})$ 의 수렴 속도를 달성하며, 결정론적 설정에서 알려진 최고의 속도와 일치한다.
• 강한 볼록 함수의 경우 더 빠른 속도인 $O(\log t / t)$ 를 달성하며, 로그 요소를 제외한 최적 수준이다.
• 수렴 분석을 통해 목적 함수 값 갭과 타당성 위반에 대한 한계를 확립하였으며, 이는 이전 연구가 변동 불평형 만족을 다루는 데서 벗어나 새로운 기여이다.
• 비미분 가능 힌지 손실 함수에 대해 닫힌 형태의 업데이트를 가능하게 하여, 각 반복에서 반복적인 SVM 해법기가 필요 없어진다.
• 알고리즘은 스토크래틱 하위기울기 노이즈에 대해 강건하며, 랜덤 변수 $\bm{\xi}$ 의 i.i.d. 샘플링 하에서도 수렴성을 유지한다.
• 이론적 분석은 수렴하는 반복과 이중 변수의 시간에 따른 변화를 추적하는 리아파노프 함수 접근을 통해 검증된다.