[논문 리뷰] Linear convergence of SDCA in statistical estimation

Chao Qu, Huan Xu|arXiv (Cornell University)|2017. 01. 26.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 5

한 줄 요약

이 논문은 제약 강凸성(Restricted Strong Convexity, RSC) 조건 하에서 비강한강凸성 통계추정 문제에 대해 Stochastic Dual Coordinate Ascent(SDCA)의 선형 수렴성을 확립한다. 일반화된 이중 없는 SDCA 알고리즘을 제안하여 비연속 $\beta$-노름을 포함한 일반적인 정규화를 다루며, Lasso, 그룹 Lasso, $\ell_1$ 정규화를 갖는 로지스틱 회귀, SCAD-정규화 선형 회귀에 대해 선형 수렴성을 증명한다.

ABSTRACT

In this paper, we consider stochastic dual coordinate (SDCA) {\em without} strongly convex assumption or convex assumption. We show that SDCA converges linearly under mild conditions termed restricted strong convexity. This covers a wide array of popular statistical models including Lasso, group Lasso, and logistic regression with $\ell_1$ regularization, corrected Lasso and linear regression with SCAD regularizer. This significantly improves previous convergence results on SDCA for problems that are not strongly convex. As a by product, we derive a dual free form of SDCA that can handle general regularization term, which is of interest by itself.

연구 동기 및 목표

• Lasso 및 $\ell_1$ 정규화를 갖는 로지스틱 회귀와 같은 비강한강凸성 통계모형에서 SDCA의 선형 수렴 보장 부족 문제를 해결한다.
• SDCA를 비강凸성 M-추정량 및 비연속 정규화항(예: $\ell_1$ 및 $\ell_{1,2}$ 노름)에도 적용할 수 있도록 확장한다.
• 명시적 이중 형식을 피하는 이중 없는 SDCA 프레임워크를 개발하여 비연속 및 비강凸성 목표함수에 대한 분석을 가능하게 한다.
• 제약 강凸성(Restricted Strong Convexity, RSC) 조건 하에서 선형 수렴성을 확립한다. 이 조건은 고차원 모형의 넓은 범주에서 성립한다.
• 최소한의 가정 하에 수렴 속도를 유도하여 SDCA가 희소 추정 문제에서 실용적으로 성공한 이유에 대한 이론적 근거를 제공한다.

제안 방법

• 이중 형식을 명시적으로 피하는 일반화된 이중 없는 SDCA 알고리즘(알고리즘 1)을 제안하며, 이는 이중 변수 $a_i^t$와 이중 변수 $v^t$를 유지한다.
• 함수 $f_i$의 미분 가능성 파라미터 $L_i$를 고려한 비균일 샘플링 전략을 사용하며, 확률은 $q_i = \frac{L_i + \bar{L}}{2n\bar{L}}$로 정의된다.
• 이중 변수를 다음과 같이 갱신한다: $a_i^t = a_i^{t-1} - \eta_i \lambda n (\nabla f_i(w^{t-1}) + a_i^{t-1})$ 및 $v^t = v^{t-1} - \eta_i (\nabla f_i(w^{t-1}) + a_i^{t-1})$.
• 프록시멀 단계 $w^t = \arg\max_{w \in \Omega} \langle w, v^t \rangle - g(w)$를 수행하며, 이는 일반 정규화 $g(w)$, 비연속 노름 포함하여 처리할 수 있다.
• RSC 조건을 이용한 수렴 분석을 수행하며, 이는 진짜 모델 지지부분공간에서 충분한 곡률를 보장한다.
• RSC 조건 하에서 이중 갭이 기하급수적으로 감소함을 보여 이중 갭의 기하급수적 감소를 통해 선형 수렴성을 확립한다. 이는 전체 목표함수가 강凸성이 아닐 경우에도 성립한다.

실험 결과

연구 질문

• RQ1 Lasso 및 그룹 Lasso와 같은 비강한강凸성 통계모형에서 SDCA가 선형 수렴을 달성할 수 있는가?
• RQ2 비연속 정규화 항(예: $\ell_1$ 및 $\ell_{1,2}$ 노름)을 다룰 수 있는 이중 없는 SDCA 형식이 존재하는가?
• RQ3 목표함수가 강凸성이 아닐 경우, SDCA가 어떤 조건에서 선형 수렴을 달성하는가?
• RQ4 제약 강凸성(Restricted Strong Convexity, RSC) 조건이 고차원 희소 추정에서 선형 수렴을 어떻게 가능하게 하는가?
• RQ5 비강凸성 M-추정량에 대해 SDCA의 이론적 수렴 속도를 비선형 수렴 속도를 초월해 향상시킬 수 있는가?

주요 결과

• SDCA는 Lasso, 그룹 Lasso, $\ell_1$ 정규화를 갖는 로지스틱 회귀, SCAD-정규화 선형 회귀에서 RSC 조건을 만족하므로 선형 수렴성을 확보한다.
• 제안된 이중 없는 SDCA 알고리즘은 전통적인 이중 기반 SDCA가 실패하는 비연속 정규화(예: $\ell_1$ 및 $\ell_{1,2}$ 노름) 문제에도 선형 수렴성을 보장한다.
• Lasso의 경우, 높은 확률로 RSC 조건을 만족하기 위해 필요한 정규화 파rameter $\lambda$는 $\lambda \geq 6\sigma\sqrt{\frac{\log p}{n}}$를 만족한다.
• 그룹 Lasso의 경우, 높은 확률로 RSC 조건을 만족하기 위해 $\lambda \geq 4\sigma\left(\sqrt{\frac{m}{n}} + \sqrt{\frac{\log N_{\mathcal{G}}}{n}}\right)$ 조건이 필요하다.
• RSC 조건의 허용 오차 $\delta$는 $c_2 \nu(\Sigma) \frac{s \log p}{n} \|\hat{w} - w^*\|_2^2$로 표현되며, 모델 복잡성과 표본 크기에 의존함을 보여준다.
• 분석 결과, 전체 목표함수가 강凸성이 아니더라도 활성 부분공간에서 RSC 조건이 성립하면 SDCA가 선형 수렴을 달성함을 확인한다.