[論文レビュー] Out-of-sample error estimate for robust M-estimators with convex penalty

Pierre Bellec|arXiv (Cornell University)|Aug 26, 2020

Statistical Methods and Inference参考文献 40被引用数 4

ひとこと要約

本稿は、ハブアー損失や最小二乗損失などのロバストな損失関数を用いる高次元M推定量に対して、一般的でデータ駆動型の外側誤差推定を導入する。この推定は、弱い正則性およびスパarsity条件のもとでn⁻¹/²の相対誤差を達成し、複雑な非線形方程式系の解法や等方的設計の仮定を必要とせず、ノイズ分散および一般化誤差の一貫性のある推定を可能にする。

ABSTRACT

A generic out-of-sample error estimate is proposed for robust $M$-estimators regularized with a convex penalty in high-dimensional linear regression where $(X,y)$ is observed and $p,n$ are of the same order. If $ψ$ is the derivative of the robust data-fitting loss $ρ$, the estimate depends on the observed data only through the quantities $\hatψ= ψ(y-X\hatβ)$, $X^ op \hatψ$ and the derivatives $(\partial/\partial y) \hatψ$ and $(\partial/\partial y) X\hatβ$ for fixed $X$. The out-of-sample error estimate enjoys a relative error of order $n^{-1/2}$ in a linear model with Gaussian covariates and independent noise, either non-asymptotically when $p/n\le γ$ or asymptotically in the high-dimensional asymptotic regime $p/n oγ'\in(0,\infty)$. General differentiable loss functions $ρ$ are allowed provided that $ψ=ρ'$ is 1-Lipschitz. The validity of the out-of-sample error estimate holds either under a strong convexity assumption, or for the $\ell_1$-penalized Huber M-estimator if the number of corrupted observations and sparsity of the true $β$ are bounded from above by $s_*n$ for some small enough constant $s_*\in(0,1)$ independent of $n,p$. For the square loss and in the absence of corruption in the response, the results additionally yield $n^{-1/2}$-consistent estimates of the noise variance and of the generalization error. This generalizes, to arbitrary convex penalty, estimates that were previously known for the Lasso.

研究の動機と目的

• 高次元線形回帰における凸罰則を用いたM推定量に対して、一般的でデータ駆動型の外側誤差推定を構築すること。
• 損失関数および罰則に関する最小限の仮定のもとで推定が有効であることを保証すること、特に重い尾を持つまたは汚染された応答に対してもロバストであること。
• Lassoに限らない任意の凸罰則および一般の共分散構造に対して、ノイズ分散および一般化誤差の推定を一貫性を持って行えるように拡張すること。
• 等方的設計の仮定に依存しないことにより、一般の共分散行列Σ ≠ Iを許容すること。
• p/n ≤ γのときおよびp/n → γ′ ∈ (0, ∞)として漸近的にも成り立つ非漸近的保証を提供すること。

提案手法

• 設計行列X、残差微分ψ(y − Xbβ)、およびbβおよびψ(y − Xbβ)のyに関する微分を用いて、外側誤差∥Σ¹ᐟ²(bβ − β)∥²のデータ駆動型推定を提案する。
• 最適化問題のKKT条件と合成関数の微分法則を用いて、推定の設計行列Xに関する微分の明示的表現を導出する。
• 高次元漸近的枠組みの下で、推定誤差のバインドに集中不等式および確率的行列理論を適用する。
• 摂動論的アプローチとガウス型最小最大化定理(GMT)フレームワークを用いて、モデル摂動に対する推定の安定性を制御する。
• 強い凸性またはスパarsity仮定の下で推定の有効性を確立し、汚染およびチューニングパラメータに関するバインドを提示する。
• ハブアーLassoの場合、活性集合のサイズ|Ŝ|および射影された残差のノルムを含む、閉形式の推定式を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定における凸罰則を用いたM推定量に対して、一般的でデータ駆動型の外側誤差推定を構築できるか？
• RQ2 一般の共分散構造およびロバストな損失関数のもとで、提案された推定はn⁻¹/²の相対誤差を達成するか？
• RQ3 応答の汚染が存在しない状況でも、ノイズ分散および一般化誤差を一貫して推定できるか？
• RQ4 非等方的設計行列の下で、この手法は等方性仮定を回避できるか？
• RQ5 LassoおよびハブアーLassoの誤差推定の有効性を保証するためのスパarsityおよびチューニングパラメータの条件は何か？

主な発見

• 提案された外側誤差推定は、ガウス型共変数および独立したノイズを伴う線形モデルにおいて、非漸近的およびp/n → γ′ ∈ (0, ∞)としての漸近的両方の意味でn⁻¹/²の相対誤差を達成する。
• 推定は、最小二乗損失およびハブアー損失を含む、一般の凸的で微分可能かつ1リプシッツ微分を持つ損失関数に対して有効である。
• 二乗損失および応答の汚染が存在しない場合、ノイズ分散および一般化誤差のn⁻¹/²一貫性推定が得られる。
• AMPやleave-one-out法とは異なり、非線形方程式系の解法や真の係数ベクトルβの知識を必要としない。
• 推定は一般の共分散行列Σ ≠ Iのもとで有効であり、従来の高次元解析で一般的に用いられる等方性仮定を排除する。
• ハブアーLassoの場合、推定は活性集合のサイズ|Ŝ|および射影された残差のノルムを含む閉形式を取り、スパarsityおよびチューニングパラメータの条件のもとで誤差の明示的バインドが得られる。