[論文レビュー] SLOPE is Adaptive to Unknown Sparsity and Asymptotically Minimax

Weijie Su, Emmanuel J. Candès|arXiv (Cornell University)|Mar 29, 2015

Sparse and Compressive Sensing Techniques参考文献 38被引用数 12

ひとこと要約

本稿は、スパース性のレベルを事前に知らない状況下でも、漸近的に最小最大推定誤差を達成するランク依存の正則化回帰推定量SLOPEの性能を確立している。ガウス型設計のもとで、Benjamini-Hochberg型の重みを用いたSLOPEは、未知のスパース性に適応し、$2\sigma^2k\log(p/k)$の最適な二乗誤差率を達成する。これは、広範なスパースモデルにおいて理論的下界と一致する。

ABSTRACT

We consider high-dimensional sparse regression problems in which we observe $y = X β+ z$, where $X$ is an $n imes p$ design matrix and $z$ is an $n$-dimensional vector of independent Gaussian errors, each with variance $σ^2$. Our focus is on the recently introduced SLOPE estimator ((Bogdan et al., 2014)), which regularizes the least-squares estimates with the rank-dependent penalty $\sum_{1 \le i \le p} λ_i |\hat β|_{(i)}$, where $|\hat β|_{(i)}$ is the $i$th largest magnitude of the fitted coefficients. Under Gaussian designs, where the entries of $X$ are i.i.d.~$\mathcal{N}(0, 1/n)$, we show that SLOPE, with weights $λ_i$ just about equal to $σ\cdot Φ^{-1}(1-iq/(2p))$ ($Φ^{-1}(α)$ is the $α$th quantile of a standard normal and $q$ is a fixed number in $(0,1)$) achieves a squared error of estimation obeying \[ \sup_{\| β\|_0 \le k} \,\, \mathbb{P} \left(\| \hatβ_{ ext{SLOPE}} - β\|^2 > (1+ε) \, 2σ^2 k \log(p/k) ight) \longrightarrow 0 \] as the dimension $p$ increases to $\infty$, and where $ε> 0$ is an arbitrary small constant. This holds under a weak assumption on the $\ell_0$-sparsity level, namely, $k/p ightarrow 0$ and $(k\log p)/n ightarrow 0$, and is sharp in the sense that this is the best possible error any estimator can achieve. A remarkable feature is that SLOPE does not require any knowledge of the degree of sparsity, and yet automatically adapts to yield optimal total squared errors over a wide range of $\ell_0$-sparsity classes. We are not aware of any other estimator with this property.

研究の動機と目的

• 高次元回帰における未知のスパース性に自動的に適応するSLOPEを適応的推定量として確立すること。
• 弱いスパース性の仮定のもとで、SLOPEが最小最大最適二乗誤差率を達成することを証明すること。
• SLOPEの性能がスパース線形モデルにおける推定誤差の理論的下界と一致することを示すこと。
• Benjamini-Hochberg手順から導かれるSLOPEの重みが、調整なしに自動適応を可能にすることを示すこと。
• 既知のスパース性レベルにとどまらず、広範なスパースモデルクラスにまでSLOPEの理論的最適性を拡張すること。

提案手法

• SLOPEはランク依存のペナルティを用いる：$\sum_{i=1}^p \lambda_i |\hat{\beta}|_{(i)}$、ここで$|\hat{\beta}|_{(i)}$は係数の絶対値の$i$番目に大きい値である。
• 重み$\lambda_i$は$\sigma \cdot \Phi^{-1}(1 - iq/(2p))$に設定され、Benjamini-Hochberg FDRしきい値処理を模倣する。
• 推定誤差の最小最大リスクの下界を導出可能とするために、$k$個の非ゼロ係数をもつ$\bm{\beta}$の階層的事前分布を用いる。
• 推定誤差の損失をブロックに分解し、尾確率を制御するために濃度不等式を適用する。
• i.i.d. $\mathcal{N}(0,1/n)$の成分をもつガウス型設計行列に適用し、漸近的正規性と濃度を保証する。
• 条件$k/p \to 0$および$k\log p / n \to 0$のもとで理論的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 SLOPEは、スパース性のレベルを事前に知らない状況下でも、高次元スパース回帰における最小最大最適推定誤差を達成できるか？
• RQ2 SLOPEにFDRにインspiredされた重みを用いることで、未知のスパース性レベルに自動的に適応できるか？
• RQ3 弱いスパース性の仮定のもとで、SLOPEの推定誤差の漸近的挙動はいかなるものか？
• RQ4 SLOPEの性能は、推定誤差の理論的下界と一致する意味で最適であるか？
• RQ5 SLOPEの最小最大最適性は、サブガウス型または相関のある共変量をもつ設計にまで拡張可能か？

主な発見

• 条件$k/p \to 0$および$k\log p / n \to 0$のもとで、SLOPEは最小最大最適二乗誤差率$2\sigma^2k\log(p/k)$を達成する。
• 任意の$\epsilon > 0$に対して、推定誤差が$(1+\epsilon)\cdot 2\sigma^2k\log(p/k)$を超える確率は$p \to \infty$の下で0に収束する。
• SLOPEは未知のスパース性レベルに自動的に適応し、$\ell_0$-スパースクラスの広範な範囲で最適な性能を達成する。
• 重み$\lambda_i = \sigma \cdot \Phi^{-1}(1 - iq/(2p))$の使用により、SLOPEは推定誤差の理論的下界と一致する。
• 最小最大リスクの下界は漸近的に達成され、SLOPEが適応的であるだけでなく、最小最大の意味でも最適であることが確認される。
• 結果は、i.i.d. $\mathcal{N}(0,1/n)$成分をもつガウス型設計行列のもとで成り立ち、他のいかなる推定量よりも改善できないという意味で、最適性は鋭い。