[論文レビュー] Two-step estimation of high dimensional additive models

Kengo Kato|arXiv (Cornell University)|Jul 23, 2012

Statistical Methods and Inference参考文献 31被引用数 7

ひとこと要約

本稿は、説明変数の数dが標本サイズnを上回るが、非ゼロの成分が少数である高次元加法モデルに対する2段階推定法を提案する。最初の段階でグループリッジ回帰を用いて変数選択を行い、2番目の段階で選択された成分に対してソボレフ正則化を施した罰則付き最小二乗推定を実行する。この手法はモデル不適合下でも最適な推定速度を達成し、誤検出（誤った有意な変数）と見逃し（真の成分の欠落）の両方を考慮した理論的性能境界を提供する。

ABSTRACT

This paper investigates the two-step estimation of a high dimensional additive regression model, in which the number of nonparametric additive components is potentially larger than the sample size but the number of significant additive components is sufficiently small. The approach investigated consists of two steps. The first step implements the variable selection, typically by the group Lasso, and the second step applies the penalized least squares estimation with Sobolev penalties to the selected additive components. Such a procedure is computationally simple to implement and, in our numerical experiments, works reasonably well. Despite its intuitive nature, the theoretical properties of this two-step procedure have to be carefully analyzed, since the effect of the first step variable selection is random, and generally it may contain redundant additive components and at the same time miss significant additive components. This paper derives a generic performance bound on the two-step estimation procedure allowing for these situations, and studies in detail the overall performance when the first step variable selection is implemented by the group Lasso.

研究の動機と目的

• 説明変数の数dが標本サイズnを上回る高次元加法モデルの推定という課題に取り組む。
• 変数選択と非パラメトリックスムージングを統合した、計算が単純な2段階手順を開発し、スパarsityと推定精度の両方を達成する。
• ランダムな選択効果（誤検出（余分な成分）と見逃し（真の成分の欠落）を含む）を考慮した2段階手法の性能を理論的に分析する。
• モデル選択の不確実性を反映した一般的な性能境界を確立し、ソボレフ滑らかさ仮定の下で収束速度を示す。
• 最初の段階でグループリッジ回帰が用いられる場合、高次元的かつ多項式でない速度でdが増加する状況下でも、L2リスクにおけるミニマックス最適収束速度を達成することを示す。

提案手法

• 最初の段階：グループリッジ回帰を用いて、潜在的に有意な変数の候補集合を特定する加法的成分のサブセットを選択する。
• 2番目の段階：選択された成分に対して、滑らかさを制御し過学習を防ぐためにソボレフ正則化を施した罰則付き最小二乗推定を実行する。
• 推定関数の粗さを抑えるために、$ I(g_j)^2 = \int_0^1 g_j^{(\nu)}(z)^2 dz $ というソボレフ空間ノルムを用いる。
• 理論的分析は、モデル選択誤差と近似バイアスの両方を考慮した推定誤差の分解に基づく。
• 誤検出と見逃しの影響を組み込んだ一般的な性能境界を用い、集中不等式とソボレフ埋め込み性質を活用する。
• 有界な誤差項と真の関数の滑らかさという正則性条件の下で、推定誤差の$L^2$ノルムと推定関数のソボレフ半ノルムを制御することで収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 グループリッジ回帰による選択とソボレフ正則化推定を組み合わせた2段階手順は、$ d \gg n $ である高次元加法モデルにおいて、最適な推定速度を達成できるか？
• RQ2 モデル選択の不確実性（特に誤検出と見逃し）は、2段階推定量の理論的性能にどのように影響するか？
• RQ3 2段階推定量の$L^2$リスクにおける収束速度は何か？ また、ソボレフ滑らかさ仮定の下でミニマックス最適速度と一致するか？
• RQ4 2段階手法は、Meierら（2009）の単一段階罰則推定量に内在する縮小バイアスを回避できるか？ もしそうなら、その特徴は理論的境界にどのように現れるか？
• RQ5 2段階推定量がミニマックス速度 $ s^* \delta^2 $ を達成する条件は何か？ ただし $ \delta = \max\{n^{-\nu/(2\nu+1)}, \sqrt{\log d / n}\} $ である。

主な発見

• 最初の段階でグループリッジ回帰が用いられる場合、$ d $ が $ n $ に対して多項式でない速度で増加する状況下でも、2段階推定量は$L^2$リスクにおけるミニマックス最適収束速度 $ s^* \delta^2 $ を達成する。
• 性能境界は誤検出と見逃しの両方の選択誤差を考慮しており、モデル選択の不確実性が存在しても推定量が一貫性を保つことを示している。
• 変数選択とスムージングを分離することで、単一段階罰則推定量の縮小バイアスを回避し、数値実験で有限標本における性能が向上することが示された。
• 理論的分析により、推定量の$L^2$誤差は、真の成分の$L^2$ノルム、真の関数のソボレフ半ノルム、誤って選択されたまたは見逃された成分の数を含む項によって上限が与えられることが分かった。
• 高確率で、$ L^2 $誤差は $ \mathcal{O}_p(\epsilon^2 |T^* \cap \hat{T}| + \varrho^2 |\hat{T} \setminus T^*| + \epsilon^2 \sum_{j \in T^*} I(g_j^*)^2) $ で制御される。ここで $ \epsilon $ はバイアスを制御し、$ \varrho $ は誤検出ペナルティを制御する。
• 境界はソボレフ空間 $ W_2^\nu([0,1]) $ 全体に一様に成り立ち、標準的な正則性条件の下で既知のミニマックス下界と一致する収束速度を示しており、推定量の最適性が確認された。