[論文レビュー] Estimation with Norm Regularization

Arindam Banerjee, Sheng Chen+2 more|arXiv (Cornell University)|May 9, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 41

ひとこと要約

本稿では、ノルム正則化回帰推定量の統一的非漸近的解析を、ノルムの種別、デザイン行列、損失関数、ノイズモデルの4つの主要な側面にわたって一般化することで提示する。推定誤差は、標本量が制限誤差集合のガウス幅に関連する閾値を超えた段階で $\frac{c}{\sqrt{n}}$ のレートで減少し、その主要な結果として、サブガウス設計と凸損失関数の下で任意のノルムに適用可能な一般化された境界を確立する。

ABSTRACT

Analysis of non-asymptotic estimation error and structured statistical recovery based on norm regularized regression, such as Lasso, needs to consider four aspects: the norm, the loss function, the design matrix, and the noise model. This paper presents generalizations of such estimation error analysis on all four aspects compared to the existing literature. We characterize the restricted error set where the estimation error vector lies, establish relations between error sets for the constrained and regularized problems, and present an estimation error bound applicable to any norm. Precise characterizations of the bound is presented for isotropic as well as anisotropic subGaussian design matrices, subGaussian noise models, and convex loss functions, including least squares and generalized linear models. Generic chaining and associated results play an important role in the analysis. A key result from the analysis is that the sample complexity of all such estimators depends on the Gaussian width of a spherical cap corresponding to the restricted error set. Further, once the number of samples $n$ crosses the required sample complexity, the estimation error decreases as $\frac{c}{\sqrt{n}}$, where $c$ depends on the Gaussian width of the unit norm ball.

研究の動機と目的

• 既存の文献が主に等方的ガウス設計と特定のノルム（例：$L_1$）に限定されているのを越えて、非漸近的推定誤差解析を一般化すること。
• 推定誤差ベクトルが存在する制限誤差集合 $E_r$ を特徴づけること。これは正則化ノルムと定数 $\beta > 1$ を含む条件によって定義される。
• 正則化推定量と制約付き推定量の間の関係を確立し、適切な条件下で誤差集合の包含関係が等価であることを示すこと。
• 制限誤差集合に対応する球欠片のガウス幅に依存する一般の標本量の閾値を導出すること。
• 十分な標本量が得られた後、推定誤差の減少レートが $\frac{c}{\sqrt{n}}$ に正確に特徴づけられることを示し、$c$ は単位ノルム球のガウス幅に比例する。

提案手法

• 任意の $\beta > 1$ に対して、$E_r = \{ \Delta \in \mathbb{R}^p \mid R(\theta^* + \Delta) \leq R(\theta^*) + \frac{1}{\beta} R(\Delta) \}$ という一般化された制限誤差集合を導入し、推定誤差の構造を捉える。
• 一般化されたチェインニングとガウス過程の不等式を用いて、制限誤差集合に関連する集合上でのサブガウス過程の上界を導出する。
• ゴーダーの不等式とガウス幅の性質を用いて、制限固有値および制限強い凸性条件の境界を導出する。
• 制限誤差集合上での損失関数のヘッセ行列を分析し、最小固有値がガウス幅に比例する項によって下から抑えられることを示す。
• サブガウス濃度とチェインニングの議論を用いて、経験的ヘッセ行列 $\frac{1}{n} \sum_{i=1}^n \langle X_i, u \rangle^2 \mathbb{I}[\cdots]$ の高確率的下界を導出する。
• 正則化パラメータ $\lambda_n$ が制限集合のガウス幅に比例するスケーリングをとる必要があることを示し、一貫した回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 ノルム、デザイン行列、損失関数、ノイズモデルという4つの側面にわたって、非漸近的推定誤差境界をどのように一般化できるか？
• RQ2 ノルム正則化推定量の制限誤差集合 $E_r$ の正確な特徴づけは何か？ また、推定誤差ベクトルとはどのように関係するか？
• RQ3 ノルム正則化推定量の標本量は、パラメータ空間の幾何的性質（例：ガウス幅）にどのように依存するか？
• RQ4 標本量の閾値を超えた後、推定誤差の収束レートは何か？
• RQ5 一般化されたチェインニングとサブガウス濃度技術は、非等方的かつサブガウス設計行列に対して、どのようにより鋭い境界を可能にするか？

主な発見

• 十分に大きな $\lambda_n$ の下で、推定誤差ベクトル $\hat{\Delta}_n$ は、$\beta > 1$ を含むノルムに基づく制約によって定義される制限誤差集合 $E_r$ に存在する。
• ノルム正則化推定量の標本量は、制限誤差集合に対応する球欠片のガウス幅に依存する。
• 標本数 $n$ が必要な標本量を上回ると、推定誤差は $\frac{c}{\sqrt{n}}$ のレートで減少し、$c$ は単位ノルム球のガウス幅に比例する。
• サブガウス設計行列と凸損失関数（例：最小二乗法や一般化線形モデル）に対しては、一般化されたチェインニングを用いて高確率的誤差境界が得られる。
• 損失関数の制限強い凸性条件は、制限誤差集合のガウス幅の観点から特徴づけられ、より鋭い回復保証を可能にする。
• サブガウス仮定の下で、損失関数のヘッセ行列が高確率的に $\underline{\rho}^2 \left(1 - c\kappa_1^2 \frac{w(A)}{\sqrt{n}}\right)$ に下から抑えられることを示した。