[論文レビュー] Group Lasso for high dimensional sparse quantile regression models

Kengo Kato|arXiv (Cornell University)|Mar 8, 2011

Statistical Methods and Inference参考文献 46被引用数 41

ひとこと要約

本稿は、高次元スパース分位数回帰におけるグループリッジのℓ₂推定誤差について非漸近的バウンドを確立し、真のスパース構造とグループ構造が一致する場合、ℓ₁正則化分位数回帰よりも優れた性能を示す可能性を示している。データ駆動型チューニングパrameter選択を拡張し、加法的分位数回帰モデルにおいて、グループリッジがオラクルレートに限りなく近い収束速度を達成することを示している。

ABSTRACT

This paper studies the statistical properties of the group Lasso estimator for high dimensional sparse quantile regression models where the number of explanatory variables (or the number of groups of explanatory variables) is possibly much larger than the sample size while the number of variables in "active" groups is sufficiently small. We establish a non-asymptotic bound on the $\ell_{2}$-estimation error of the estimator. This bound explains situations under which the group Lasso estimator is potentially superior/inferior to the $\ell_{1}$-penalized quantile regression estimator in terms of the estimation error. We also propose a data-dependent choice of the tuning parameter to make the method more practical, by extending the original proposal of Belloni and Chernozhukov (2011) for the $\ell_{1}$-penalized quantile regression estimator. As an application, we analyze high dimensional additive quantile regression models. We show that under a set of suitable regularity conditions, the group Lasso estimator can attain the convergence rate arbitrarily close to the oracle rate. Finally, we conduct simulations experiments to examine our theoretical results.

研究の動機と目的

• 高次元スパース分位数回帰モデルにおけるグループリッジの非漸近的ℓ₂推定誤差バウンドを確立すること。
• グループリッジが推定誤差の観点でℓ₁正則化分位数回帰を上回る条件を明確にすること。
• BelloniとChernozhukov (2011) が提唱したデータ依存型チューニングパrameter選択法を、実用的実装を念頭にグループリッジフレームワークに拡張すること。
• グループリッジを高次元加法的分位数回帰モデルに適用し、収束速度を導出すること。
• 適切な正則性条件下で、グループリッジ推定量がStoneのオラクルレート n^{-ν/(2ν+1)} に限りなく近い収束速度を達成することを示すこと。

提案手法

• 真の条件付き分位数関数が基底関数のスパース線形結合でよく近似できる非ゼロバイアス設定下で、グループリッジ推定量のℓ₂推定誤差に対する非漸近的バウンドを導出する。
• BelloniとChernozhukov (2011) が提唱したデータ駆動型チューニングパrameter選択手順をグループリッジケースに拡張し、非ゼロバイアスケースでも漸近的有効性を保証する。
• 加法的分位数回帰にグループリッジを適用するため、基底関数による切捨て級数展開で加法的成分を近似し、変数選択を係数のグループ選択に変換する。
• グループ固有の共分散構造を持つデザイン行列を用い、グループ内スパarsityとデザイン行列のグループ別部分行列の有界固有値を仮定する。
• 集中不等式と対称化技術を用いて、経験プロセスを制御し、推定誤差に関する高確率バウンドを導出する。
• 推定誤差バウンドと基底関数展開による近似誤差を組み合わせることで収束速度を確立し、条件付き分位数関数の滑らかさ（ν-滑らかさ）を活用する。

実験結果

リサーチクエスチョン

• RQ1 グループリッジ推定量がℓ₁正則化分位数回帰推定量よりも良いℓ₂推定誤差を達成する条件は何か？
• RQ2 非ゼロバイアス設定下でも、グループリッジのデータ駆動型チューニングパrameter選択ルールが漸近的に有効であるか？
• RQ3 高次元加法的分位数回帰モデルにおけるグループリッジ推定量が達成できる収束速度は何か？
• RQ4 真のパramーターベクトルがグループスパースであるが、条件付き分位数関数が正確にスパースでない場合、グループリッジはどのように性能を発揮するか？
• RQ5 滑らかさ条件の下で、加法的分位数回帰におけるグループリッジ推定量は、オラクルレートにどの程度近づけるか？

主な発見

• グループリッジ推定量は、高確率でℓ₂推定誤差バウンドが t(n^{-ν/(2ν+1)} ∨ √(log d / n)) のオーダーに達する。ここで t はチューニングパrameter、ν は条件付き分位数関数の滑らかさを表す。
• 適切な正則性条件下（m log d / n → 0 および t²(n^{(1-2ν)/(2ν+1)} ∨ (m log d / n)) → 0）で、グループリッジ推定量はオラクルレート n^{-ν/(2ν+1)} に限りなく近い収束速度を達成できる。
• 非漸近的誤差バウンドは、真のスパース構造とグループ構造が一致する場合、グループリッジがℓ₁正則化より優れていることを説明する。
• BelloniとChernozhukov (2011) が提唱したデータ依存型チューニングパrameter選択ルールは、適切な条件下で非ゼロバイアスケースでも漸近的に有効である。
• 加法的成分の級数展開の切捨てによる近似誤差は O(m^{-ν}) であり、m を適切に選べば全体の収束速度に吸収される。
• グループ選択と基底関数近似を組み合わせることで、加法的分位数回帰においてグループリッジは近オラクル性能を達成する。最終的な収束速度はサンプルサイズと滑らかさνの両方に依存する。