[논문 리뷰] SLOPE is Adaptive to Unknown Sparsity and Asymptotically Minimax

Weijie Su, Emmanuel J. Candès|arXiv (Cornell University)|2015. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 12

한 줄 요약

이 논문은 랭크 기반 정규화 회귀 추정기인 SLOPE가 스파arsity 수준에 대한 사전 지식 없이도 渐近적으로 최소 최대 추정 오차를 달성함을 입증한다. 가우시안 설계 하에서 SLOPE는 벤자민-호크베르그 유형의 가중치를 사용하여 알려지지 않은 스파arsity에 적응하고, $2\sigma^2k\log(p/k)$의 최적 제곱 오차율을 달성하며, 다양한 희박 모델에서 이론적 하한값과 일치한다.

ABSTRACT

We consider high-dimensional sparse regression problems in which we observe $y = X β+ z$, where $X$ is an $n imes p$ design matrix and $z$ is an $n$-dimensional vector of independent Gaussian errors, each with variance $σ^2$. Our focus is on the recently introduced SLOPE estimator ((Bogdan et al., 2014)), which regularizes the least-squares estimates with the rank-dependent penalty $\sum_{1 \le i \le p} λ_i |\hat β|_{(i)}$, where $|\hat β|_{(i)}$ is the $i$th largest magnitude of the fitted coefficients. Under Gaussian designs, where the entries of $X$ are i.i.d.~$\mathcal{N}(0, 1/n)$, we show that SLOPE, with weights $λ_i$ just about equal to $σ\cdot Φ^{-1}(1-iq/(2p))$ ($Φ^{-1}(α)$ is the $α$th quantile of a standard normal and $q$ is a fixed number in $(0,1)$) achieves a squared error of estimation obeying \[ \sup_{\| β\|_0 \le k} \,\, \mathbb{P} \left(\| \hatβ_{ ext{SLOPE}} - β\|^2 > (1+ε) \, 2σ^2 k \log(p/k) ight) \longrightarrow 0 \] as the dimension $p$ increases to $\infty$, and where $ε> 0$ is an arbitrary small constant. This holds under a weak assumption on the $\ell_0$-sparsity level, namely, $k/p ightarrow 0$ and $(k\log p)/n ightarrow 0$, and is sharp in the sense that this is the best possible error any estimator can achieve. A remarkable feature is that SLOPE does not require any knowledge of the degree of sparsity, and yet automatically adapts to yield optimal total squared errors over a wide range of $\ell_0$-sparsity classes. We are not aware of any other estimator with this property.

연구 동기 및 목표

• 고차원 회귀에서 알려지지 않은 스파arsity에 자동으로 적응하는 SLOPE를 적응형 추정기로 확립하기 위해.
• 약한 스파arsity 가정 하에서 SLOPE가 최소 최대 최적 제곱 오차율을 달성함을 증명하기 위해.
• SLOPE의 성능이 희박 선형 모델에서 추정 오차의 이론적 하한값과 일치함을 보여주기 위해.
• 벤자민-호크베르그 절차에서 유도된 SLOPE의 가중치가 조정 없이 자동 적응을 가능하게 함을 보여주기 위해.
• 기존의 알려진 스파arsity 수준을 넘어서, 넓은 범위의 희박 모델에 대해 SLOPE의 이론적 최적성 확장하기 위해.

제안 방법

• SLOPE는 랭크에 의존하는 펜alty를 사용한다: $\sum_{i=1}^p \lambda_i |\hat{\beta}|_{(i)}$, 여기서 $|\hat{\beta}|_{(i)}$는 계수 크기의 $i$-번째로 큰 값이다.
• 가중치 $\lambda_i$는 $\sigma \cdot \Phi^{-1}(1 - iq/(2p))$로 설정되며, 벤자민-호크베르그 FDR 임계치 절차를 모방한다.
• 분석은 $k$개의 비영인 계수를 가지며 크기 $\tau_{n,p}$인 계수에 대한 계층적 사전분포를 활용하여, 최소 최대 리스크 하한값을 유도한다.
• 증명은 추정 손실을 블록으로 분해하고 꼬리 확률을 제어하기 위해 농도 부등식을 적용한다.
• 메서드는 i.i.d. $\mathcal{N}(0,1/n)$ 요소를 가진 가우시안 설계 행렬에 적용되며, 渐진적 정규성과 농도를 보장한다.
• 이론적 경계는 조건 $k/p \to 0$ 및 $k\log p / n \to 0$ 하에서 유도되며, 이는 희박성과 고차원 일致성을 보장한다.

실험 결과

연구 질문

• RQ1 SLOPE는 스파arsity 수준을 알지 못해도 고차원 희박 선형 회귀에서 최소 최대 최적 추정 오차를 달성할 수 있는가?
• RQ2 SLOPE에 FDR 유사 가중치를 사용하면 알려지지 않은 스파arsity 수준에 자동 적응이 가능한가?
• RQ3 약한 스파arsity 가정 하에서 SLOPE의 추정 오차의 渐진적 행동은 어떠한가?
• RQ4 SLOPE의 성능은 추정 오차의 이론적 하한값과 일치하는 의미에서 최적인가?
• RQ5 SLOPE의 최소 최대 최적성은 서브가우시안 또는 상관된 공변수를 가진 설계로 확장될 수 있는가?

주요 결과

• 조건 $k/p \to 0$ 및 $k\log p / n \to 0$ 하에서 SLOPE는 최소 최대 최적 제곱 오차율 $2\sigma^2k\log(p/k)$를 달성한다.
• 모든 $\epsilon > 0$ 에 대해 $p \to \infty$ 일 때, 추정 오차가 $(1+\epsilon)\cdot 2\sigma^2k\log(p/k)$를 초과할 확률은 0으로 수렴한다.
• SLOPE는 알려지지 않은 스파arsity 수준에 자동으로 적응하여, $\ell_0$-스파arsity 클래스의 넓은 범위에서 최적 성능을 달성한다.
• 가중치 $\lambda_i = \sigma \cdot \Phi^{-1}(1 - iq/(2p))$의 사용은 SLOPE가 추정 오차의 이론적 하한값과 일치함을 보장한다.
• 최소 최대 리스크 하한값은 渐진적으로 일치하며, 이는 SLOPE가 적응형일 뿐 아니라 최소 최대 의미에서 최적임을 확인한다.
• 결과는 i.i.d. $\mathcal{N}(0,1/n)$ 요소를 가진 가우시안 설계 행렬 하에서 성립하며, 최적성은 어떤 다른 추정기로도 향상될 수 없음을 의미한다.