[論文レビュー] The Degrees of Freedom of Partly Smooth Regularizers

Samuel Vaiter, Charles‐Alban Deledalle+3 more|arXiv (Cornell University)|Apr 22, 2014

Statistical Methods and Inference参考文献 10被引用数 5

ひとこと要約

本稿では、部分的に滑らかな正則化子（Riemann多様体に沿って滑らかな凸で下方連続な関数）を用いた正則化回帰推定量の自由度を統一的に分析するフレームワークを提案する。局所的安定性と活性多様体上での滑らかさを活用することで、ほとんど至る所で成り立つ閉形式の自由度の式を導出し、設計行列がランク不足であっても不偏リスク推定が可能となる。これは、Lasso、グループLasso、全 variation 正則化に対する先行研究を一般化する。

ABSTRACT

In this paper, we are concerned with regularized regression problems where the prior regularizer is a proper lower semicontinuous and convex function which is also partly smooth relative to a Riemannian submanifold. This encompasses as special cases several known penalties such as the Lasso ($\ell^1$-norm), the group Lasso ($\ell^1-\ell^2$-norm), the $\ell^\infty$-norm, and the nuclear norm. This also includes so-called analysis-type priors, i.e. composition of the previously mentioned penalties with linear operators, typical examples being the total variation or fused Lasso penalties.We study the sensitivity of any regularized minimizer to perturbations of the observations and provide its precise local parameterization.Our main sensitivity analysis result shows that the predictor moves locally stably along the same active submanifold as the observations undergo small perturbations. This local stability is a consequence of the smoothness of the regularizer when restricted to the active submanifold, which in turn plays a pivotal role to get a closed form expression for the variations of the predictor w.r.t. observations. We also show that, for a variety of regularizers, including polyhedral ones or the group Lasso and its analysis counterpart, this divergence formula holds Lebesgue almost everywhere.When the perturbation is random (with an appropriate continuous distribution), this allows us to derive an unbiased estimator of the degrees of freedom and of the risk of the estimator prediction.Our results hold true without requiring the design matrix to be full column rank.They generalize those already known in the literature such as the Lasso problem, the general Lasso problem (analysis $\ell^1$-penalty), or the group Lasso where existing results for the latter assume that the design is full column rank.

研究の動機と目的

• 部分的滑らか正則化子を用いた正則化回帰における自由度の一般理論を構築し、列フルランクといった古典的仮定を越えて展開すること。
• 観測値の摂動における正則化推定量の局所的安定性を、活性多様体上での解パスの挙動を分析することで同定すること。
• 多面体型およびグループLasso型を含む広範な正則化子クラスについて、自由度および予測リスクの不偏推定量を導出すること。
• 設計行列がフルランクでない場合を含む最小限の仮定のもとで、自由度の公式の有効性を確立すること。
• o-最小構造と定義可能集合を用いて、特に部分微分可能集合や相対内部などの解析の数学的厳密性を保証すること。

提案手法

• 解の近傍における正則化子の構造を、Riemann多様体に沿った部分的滑らかさの観点から記述する。
• 観測値の変化に伴う解パスの局所的パラメータ化を分析し、小さな摂動に対しても予測子が同じ活性多様体に沿って滑らかに移動することを示す。
• 活性多様体の次元とその上での正則化子の滑らかさに基づき、自由度の閉形式表現を導出する。
• 半代数的およびo-最小幾何学の道具を用いて、臨界集合（例：部分微分可能集合、相対内部）の定義可能性を保証し、測度論的議論を可能にする。
• 多面体型正則化子およびグループLasso型ペナルティに対して、自由度の公式がLebesgueほとんど至る所で成り立つことを確立する。
• 公式のほとんど至る所での有効性を活用し、連続分布に従う確率的摂動のもとで、予測リスクの不偏推定量を構築する。

実験結果

リサーチクエスチョン

• RQ1 部分的滑らか正則化子を有する正則化推定量の自由度を、一貫して定義・計算する方法は何か？
• RQ2 観測値の小さな摂動に対して、解パスがどの条件下で局所的安定かつ微分可能に保たれるか？
• RQ3 設計行列が列フルランクでない場合にも、自由度の公式を拡張できるか？
• RQ4 部分的滑らかさと多様体構造が、閉形式自由度計算を可能にする役割は何か？
• RQ5 グループLassoや解析型ペナルティのような複雑な正則化子に対して、自由度の公式のほとんど至る所での有効性をどのように確立できるか？

主な発見

• 部分的滑らか正則化子を有する正則化推定量の自由度は、弱い正則性条件のもとで、解が存在する活性多様体の次元に等しい。
• 正則化子がその活性多様体上で滑らかであるため、観測値の小さな摂動に対しても、解パスは同じ活性多様体に沿って局所的安定かつ微分可能に保たれる。
• 多面体型正則化子およびグループLasso型ペナルティに対して、設計行列がランク不足であっても、自由度の公式はLebesgueほとんど至る所で成り立つ。
• 摂動分布が連続分布である場合、自由度の公式を用いて予測リスクの不偏推定量を構築できる。
• 設計行列が列フルランクでないという仮定を不要とする点で、Lasso、グループLasso、全 variation ペナルティに対する既存結果を一般化する。
• o-最小構造の使用により、重要な集合（例：部分微分可能集合、相対内部）が定義可能であることが保証され、解パスの測度論的解析が厳密に可能となる。