[논문 리뷰] Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method

Sen Na, Cho‐Jui Hsieh|arXiv (Cornell University)|2016. 12. 30.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 대규모 희소 학습 문제를 위한 확률적 변형된 반가역 기반 стрictly contractive Peaceman-Rachford 분할 방법(Stochastic SPB-SCPRSM)을 제안한다. 각 반복에서 하나 또는 소수의 샘플만을 사용하고, 두 개의 조정 인자와 함께 반가역 항을 통합함으로써, 볼록 문제에 대해 에르고딕 의미에서 $O(1/ar{t})$의 수렴 속도와 강한 볼록 문제에 대해 $O(\log(t)/t)$의 수렴 속도를 달성한다. 이는 실제 및 합성 데이터셋에서 기존의 확률적 ADMM 및 배치 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Minimizing sum of two functions under a linear constraint is what we called splitting problem. This convex optimization has wide applications in machine learning problems, such as Lasso, Group Lasso and Sparse logistic regression. A recent paper by Gu et al (2015) developed a Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method (SPB-SPRSM), which is an extension of Strictly Contractive Peaceman-Rachford Splitting Method (SPRSM) proposed by He et al (2014). By introducing semi-proximal terms and using two different relaxation factors, SPB-SPRSM showed a more flexiable applicability comparing to its origin SPRSM and widely-used Alternating Direction Method of Multipliers (ADMM) algorithm, although all of them have $O(1/t)$ convergence rate. In this paper, we develop a stochastic version of SPB-SPRSM algorithm, where only a subset of samples (even one sample) are used at each iteration. The resulting algorithm, Stochastic SPB-SPRSM, is more flexiable than Stochastic ADMM and other ADMM-based algorithms on both simulations and real datasets. Moreover, we prove $O(1/\sqrt{t})$ convergence rate in ergodic sense, which is the same with Stochastic ADMM algorithm under the same assumption. But as shown in He et al (2014) that SPRSM based algorithms will always converge faster than ADMM in apllication, our proposed algorithm will also preserve this advantage.

연구 동기 및 목표

• 기하학적 데이터셋을 가진 대규모 머신러닝에서 ADMM 및 SPB-SCPRSM과 같은 배치 분할 방법의 확장성 한계를 해결하기 위해.
• 각 반복에서 소수의 샘플만을 사용하는 SPB-SCPRSM의 확률적 변형을 개발하여 계산 효율성을 향상시키기 위해.
• 반가역 항과 두 개의 별개의 조정 인자들을 통해 수렴 보장을 유지하면서도 유연성을 높이기 위해.
• 일반 볼록 및 강한 볼록 설정 하에서 이 확률적 알고리즘의 이론적 수렴 속도를 확립하기 위해.
• 실제 및 합성 데이터셋에서 기존의 확률적 ADMM 및 배치 방법보다 뛰어난 수렴 속도를 경험적으로 검증하기 위해.

제안 방법

• 각 반복에서 단일 또는 소규모 배치의 샘플을 사용하여 증강 라그랑지안을 근사화함으로써 SPB-SCPRSM의 확률적 버전을 제안한다.
• 수치적 안정성과 수렴을 향상시키기 위해 ${\boldsymbol{x}}$ 및 ${\boldsymbol{y}}$의 하위문제에 두 개의 반가역 항을 도입한다.
• 반복 수열의 엄격한 수축성을 보장하기 위해 $\alpha \in [0,1)$ 및 $\gamma \in \left(0, \frac{1-\alpha + \sqrt{(1+\alpha)^2 + 4(1-\alpha^2)}}{2}\right)$의 두 개의 다른 조정 인자를 사용한다.
• 라그랑지안의 일阶 근사화를 이용해 $\boldsymbol{x}$, $\boldsymbol{y}$ 및 이중 변수 $\boldsymbol{\lambda}$의 업데이트 규칙을 유도한다.
• 선형 제약 조건을 가진 분리 가능한 볼록 최적화로 재구성함으로써 Lasso, 그룹 Lasso 및 희소 로지스틱 회귀에 알고리즘을 적용한다.
• 로지스틱 회귀의 경우 $\boldsymbol{y}$-업데이트에 소프트 스레셔딩을 적용하고 $\boldsymbol{x}$-업데이트에 닫힌 형태의 업데이트를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에 대해 효율적으로 확장되면서도 수렴을 유지할 수 있는 SPB-SCPRSM의 확률적 변형을 개발할 수 있는가?
• RQ2 어떤 조정 인자와 반가역 항의 조합이 확률적 설정에서 엄격한 수축성과 수렴을 보장하는가?
• RQ3 제안된 확률적 SPB-SCPRSM의 수렴 속도는 볼록 및 강한 볼록 설정에서 기존의 확률적 ADMM 및 배치 방법과 비교해 어떻게 되는가?
• RQ4 실제 희소 학습 문제에서 기존의 확률적 알고리즘보다 수렴 속도 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 손실 함수의 프록시맵핑이 계산적으로 어려운 경우에도 이 방법이 효과적으로 작동할 수 있는가?

주요 결과

• 제안된 Stochastic SPB-SCPRSM는 기존의 확률적 ADMM와 동일한 가정 하에 일반 볼록 함수에 대해 에르고딕 의미에서 $O(1/\sqrt{t})$의 수렴 속도를 달성한다.
• 강한 볼록 문제의 경우 수렴 속도가 $O(\log(t)/t)$로 향상되며, 이는 배치 방법의 표준 $O(1/t)$ 속도보다 빠르다.
• 실제 데이터셋에서 확률적 ADMM 및 배치 ADMM보다 수렴 속도가 더 빠르며, 특히 해가 희소한 경우(예: $\mu=10$)에 두드러진다.
• E2006 데이터셋에서 Sto-SPB-SPRSM은 SADMM 및 OpSADMM를 능가하며, 특히 희소 영역에서 수렴 속도의 우월성이 뚜렷하다.
• 희소 로지스틱 회귀에서처럼 부드러운 손실 항의 프록시맵핑이 계산하기 어려운 경우에도 이 방법은 효과적이다.
• 조정 인자 $\alpha$ 및 $\gamma$에 대한 이론적 수렴 경계는 배치 SPB-SCPRSM와 동일하여, 확률적 환경에서도 안정성과 수렴을 보장한다.