[論文レビュー] An l1-Oracle Inequality for the Lasso

Pascal Massart, Caroline Meynet|arXiv (Cornell University)|Jul 27, 2010

Statistical Methods and Inference参考文献 17被引用数 10

ひとこと要約

本稿は、設計や回帰関数に幾何的仮定を課さずに、Lasso推定量に対する $ε_{1}$-オラクル不等式を確立し、正則化パラメータを適切に選べば、決定的Lassoとほぼ同等の性能を達成することを証明している。さらに、$ε_{0}$-ペナルティを用いた二進的切断における選択的Lasso推定量を導入し、補間空間における最適収束速度を達成した。

ABSTRACT

The Lasso has attracted the attention of many authors these last years. While many efforts have been made to prove that the Lasso behaves like a variable selection procedure at the price of strong (though unavoidable) assumptions on the geometric structure of these variables, much less attention has been paid to the analysis of the performance of the Lasso as a regularization algorithm. Our first purpose here is to provide a conceptually very simple result in this direction. We shall prove that, provided that the regularization parameter is properly chosen, the Lasso works almost as well as the deterministic Lasso. This result does not require any assumption at all, neither on the structure of the variables nor on the regression function. Our second purpose is to introduce a new estimator particularly adapted to deal with infinite countable dictionaries. This estimator is constructed as an l0-penalized estimator among a sequence of Lasso estimators associated to a dyadic sequence of growing truncated dictionaries. The selection procedure automatically chooses the best level of truncation of the dictionary so as to make the best tradeoff between approximation, l1-regularization and sparsity. From a theoretical point of view, we shall provide an oracle inequality satisfied by this selected Lasso estimator. The oracle inequalities established for the Lasso and the selected Lasso estimators shall enable us to derive rates of convergence on a wide class of functions, showing that these estimators perform at least as well as greedy algorithms. Besides, we shall prove that the rates of convergence achieved by the selected Lasso estimator are optimal in the orthonormal case by bounding from below the minimax risk on some Besov bodies. Finally, some theoretical results about the performance of the Lasso for infinite uncountable dictionaries will be studied in the specific framework of neural networks. All the oracle inequalities presented in this paper are obtained via the application of a single general theorem of model selection among a collection of nonlinear models which is a direct consequence of the Gaussian concentration inequality. The key idea that enables us to apply this general theorem is to see l1-regularization as a model selection procedure among l1-balls.

研究の動機と目的

• 設計や回帰関数に制限のない仮定を課さずに、Lassoを正則化法として分析すること。
• 近似、$ε_{1}$-正則化、スパarsityをバランスさせることが可能な、無限可算辞書に適した新しい推定量の開発。
• 一般関数クラスにおけるLassoおよび選択的Lasso推定量のオラクル不等式と収束速度の導出。
• $ε_{1}$-ボールをモデルとして用いる一般モデル選択定理に基づき、Lasso推定量の分析を統一すること。
• Lassoが収束速度の観点で、グリーディアルゴリズムと同等の性能を達成できることを示すこと。

提案手法

• Lassoを $ε_{1}$-ボールの間のモデル選択手順として解釈することで、一般モデル選択定理の適用を可能にする。
• 辞書や回帰関数にあらゆる仮定を課さずに、Lassoに対する $ε_{1}$-オラクル不等式を導出する。
• 二進的に成長する切断辞書上でのLasso推定量の系列に $ε_{0}$-ペナルティを適用することで、選択的Lasso推定量を構築する。
• 選択手順により、近似誤差、$ε_{1}$-正則化、スパarsityをバランスさせる最適な切断レベルが自動的に選ばれる。
• 補間空間と実補間理論を用いて収束速度を導出する。
• 主要な技術的ステップはエントロピーおよび被覆数の境界に依存し、一般モデル選択定理を用いて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 設計や回帰関数に幾何的仮定を課さずに、Lassoを正則化法として分析することは可能か？
• RQ2 最適な切断レベルに適応する、無限辞書に対する一貫性のある推定量はどのように構築できるか？
• RQ3 一般関数クラスにおいて、Lassoの収束速度の性能はいかほどか？
• RQ4 $ε_{1}$-ボールをモデルとして用いる一般モデル選択フレームワークを、$ε_{1}$-正則化推定量に適用可能か？
• RQ5 Lassoおよび選択的Lasso推定量は、グリーディアルゴリズムと比較して収束速度の観点でどのように異なるか？

主な発見

• 正則化パラメータを適切に選べば、辞書や回帰関数にあらゆる仮定を課さずに、Lassoが $ε_{1}$-オラクル不等式を満たす。
• 二進的切断における $ε_{0}$-ペナルティ選択により構築された選択的Lasso推定量は、近似、$ε_{1}$-正則化、スパarsityをバランスさせるオラクル不等式を達成する。
• Lasso推定量は、補間空間における収束速度がグリーディアルゴリズムと同等またはそれを上回る。
• $ε_{q}(R) \cap \mathcal{B}^{r}_{2,\infty}(R)$ におけるミニマックスリスクの下界が導出され、達成された収束速度の最適性が示された。
• 選択的Lasso推定量の収束速度は、$q \in (0,2)$ に対して $\kappa'' R^q (\varepsilon \sqrt{\ln(R\varepsilon^{-1})})^{2-q}$ であり、$\kappa'' > 0$ は絶対定数である。
• 解析により、構造的仮定がなくても、Lassoがリスクの観点で決定的Lassoとほぼ同等の性能を達成することが明らかになった。