[論文レビュー] Sharp Oracle Inequalities for Square Root Regularization

Benjamin Stucky, Sara van de Geer|arXiv (Cornell University)|Sep 14, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用数 7

ひとこと要約

本稿は、高次元線形回帰における平方根正則化の一般枠組みを提示し、任意の弱分解可能ノルムをペナルティとして用いることで、ノイズ分散の知識がなくてもピボット推定を達成する。平方根LASSO や平方根SLOPE などの推定量について鋭いオラクル不等式を確立し、ソートされたL1ノルムのグループ化特性により、グループスパース構造において優れた性能を示すことを示している。

ABSTRACT

We study a set of regularization methods for high-dimensional linear regression models. These penalized estimators have the square root of the residual sum of squared errors as loss function, and any weakly decomposable norm as penalty function. This fit measure is chosen because of its property that the estimator does not depend on the unknown standard deviation of the noise. On the other hand, a generalized weakly decomposable norm penalty is very useful in being able to deal with different underlying sparsity structures. We can choose a different sparsity inducing norm depending on how we want to interpret the unknown parameter vector $β$. Structured sparsity norms, as defined in Micchelli et al. [18], are special cases of weakly decomposable norms, therefore we also include the square root LASSO (Belloni et al. [3]), the group square root LASSO (Bunea et al. [10]) and a new method called the square root SLOPE (in a similar fashion to the SLOPE from Bogdan et al. [6]). For this collection of estimators our results provide sharp oracle inequalities with the Karush-Kuhn-Tucker conditions. We discuss some examples of estimators. Based on a simulation we illustrate some advantages of the square root SLOPE.

研究の動機と目的

• 未知のノイズ分散に依存しない平方根損失を用いることで、高次元線形回帰の統一的枠組みを構築すること。
• 平方根LASSO を一般スパース誘導ノルム（グループノルムやソートされたL1ノルム（SLOPE）を含む）に拡張すること。
• 弱分解可能性の下で、この推定量クラスについて鋭いオラクル不等式を確立し、完全分解可能性を要件としない理論的保証を可能にすること。
• シミュレーションを通じて、グループスパースや構造的スパース設定下での平方根SLOPEと平方根LASSO の性能比較を通じて、利点を示すこと。

提案手法

• 残差の経験的ノルムとペナルティ項の和を最小化する平方根正則化推定量を提案：$\hat{\beta} = \arg\min_{\beta} \left\{ \|Y - X\beta\|_n + \lambda \Omega(\beta) \right\}$、ここで $\Omega$ は弱分解可能ノルムである。
• 双対ノルム $\Omega^*$ とカールシュ＝クーン＝タッカー（KKT）条件を用いて、推定誤差および予測誤差に関する鋭いオラクル不等式を導出する。
• 弱分解可能性の概念を用いて、$\ell_1$ を超えるスパース誘導ペナルティの一般化を可能にし、構造的スパース（例：グループ、融合、またはソートノルム）を実現する。
• 減少するペナルティ重みのシーケンスを用いる新しい手法として、平方根SLOPE推定量を導入する。
• KKT条件とノルムの性質を用いて、推定誤差 $\|\beta^0 - \hat{\beta}\|_1$ および予測誤差 $\|X(\beta^0 - \hat{\beta})\|_2$ の理論的バウンディングを導出する。
• 交差検証と、標準正規分布の quantile に基づく理論的 $\lambda$ 選択法を用いて正則化パラメータをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 一般の弱分解可能ノルムを用いた平方根正則化に対して、鋭いオラクル不等式を確立できるか？
• RQ2 グループスパース構造下で、平方根SLOPE推定量は平方根LASSO と比較して推定誤差および予測誤差においてどのように異なるか？
• RQ3 構造的ノルムを用いる場合に、平方根正則化枠組みはピボット性（ノイズ分散に依存しない性質）を保つのか？
• RQ4 SLOPEにおけるソートされたL1ノルムは、標準$\ell_1$-ペナルティ法と比較して、グループ化された変数の選択をどの程度改善するか？
• RQ5 相関のある設計行列と構造的パラメータベクトルを有する高次元設定下で、平方根SLOPEの経験的性能はいかがなものか？

主な発見

• グループスパースおよび減少するパラメータベクトルのケースでは、推定誤差がわずかに悪い場合でも、平方根SLOPEは平方根LASSO よりも低い平均二乗予測誤差を達成する。
• グループ化ケース（$\beta^0 = (4,4,4,3,3,2,2)^T$）では、平方根SLOPEの予測誤差は3.65、平方根LASSO は4.25であった。
• 減少ケース（$\beta^0 = (4, 3.6, 3.3, 3, 2.6, 2.3, 2)^T$）では、平方根LASSO が推定誤差（1.78 vs. 2.37）で優れていたが、予測誤差は平方根SLOPE が低かった。
• ランダムなアクティブセット構成では、平方根SLOPE は常に平方根LASSO よりも予測誤差が低く、平均二乗予測誤差は5.78 vs. 6.67であった。
• 理論的 $\lambda$ 値は $\sigma$ に依存せず導出された。これは、$\lambda \sim \Phi^{-1}(1 - \alpha/2p)/\sqrt{n-1}$ のように、方法のピボット性を確認するものであった。
• 弱分解可能ノルムの使用により、$\ell_1$ ノルムを超える理論的枠組みの一般化が可能となり、真のスパース構造を反映したよりタイトなオラクルバウンディングが得られた。