[論文レビュー] Flexible Shrinkage Estimation in High-Dimensional Varying Coefficient Models

Heng Lian|arXiv (Cornell University)|Aug 13, 2010

Dam Engineering and Safety参考文献 30被引用数 3

ひとこと要約

本稿では、$ p \gg n $ における高次元変化係数モデルにおいて、同時に変数選択と定数係数同定を実行するため、Bスpline展開に適応的グループlassoを用いた二重縮小推定法を提案する。この手法は、関連変数の数が標本サイズとともに増大する場合でさえも、オラクル性およびモデル選択の一致性を達成し、正則化パラメータ選択のための半パラメトリックBIC型基準の理論的妥当性を確立する。

ABSTRACT

We consider the problem of simultaneous variable selection and constant coefficient identification in high-dimensional varying coefficient models based on B-spline basis expansion. Both objectives can be considered as some type of model selection problems and we show that they can be achieved by a double shrinkage strategy. We apply the adaptive group Lasso penalty in models involving a diverging number of covariates, which can be much larger than the sample size, but we assume the number of relevant variables is smaller than the sample size via model sparsity. Such so-called ultra-high dimensional settings are especially challenging in semiparametric models as we consider here and has not been dealt with before. Under suitable conditions, we show that consistency in terms of both variable selection and constant coefficient identification can be achieved, as well as the oracle property of the constant coefficients. Even in the case that the zero and constant coefficients are known a priori, our results appear to be new in that it reduces to semivarying coefficient models (a.k.a. partially linear varying coefficient models) with a diverging number of covariates. We also theoretically demonstrate the consistency of a semiparametric BIC-type criterion in this high-dimensional context, extending several previous results. The finite sample behavior of the estimator is evaluated by some Monte Carlo studies.

研究の動機と目的

• 高次元変化係数モデル（$ p \gg n $）において、同時に変数選択と定数係数同定を実行する課題に対処すること。
• 既存のペナルティ法を、発散する説明変数数を有する超高次元半パラメトリックモデルへ拡張すること。
• スパarsity仮定の下で、変数選択および定数係数同定の両方の理論的一致性を確立すること。
• 高次元設定における自動正則化パrameter選択を可能にする半パラメトリックBIC型基準の開発および正当化。
• 真のゼロおよび定数係数構造が事前に分かっている場合でも、この手法が一貫性を示すことを示し、発散する説明変数数を有する半変動係数モデルへ拡張できること。

提案手法

• 変化係数をBスpline基底展開で表現することで、有限次元近似空間内での非パラメトリック推定を可能にする。
• グループ構造を活用して、全体の係数関数の同時縮小および定数係数の同定を、適応的グループlassoペナルティを用いて実現する。
• 最適化問題を凸計画問題として定式化することで、グローバル収束性およびKKT条件の満たしを保証する。
• 設計行列を非パラメトリック部分空間およびパラメトリック部分空間に関連する成分に分解し、漸近的挙動を分析する。
• 推定誤差のバインドおよび収束速度の導出に、フロベニウスノルムおよび行列射影技術を活用する。
• 残差平方和とモデルの複雑さに基づく半パラメトリックBIC型基準を導入し、高次元設定における正則化パrameterの一貫性ある選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 適応的グループlassoを用いることで、高次元変化係数モデルにおいて、同時に変数選択と定数係数同定を達成できるか？
• RQ2 提案手法が、$ p \gg n $ の超高次元設定においても、定数係数に対してオラクル性を維持するか？
• RQ3 説明変数数が発散する場合に、半パラメトリックBIC型基準が正則化パラメータの一貫性ある選択を可能にするか？
• RQ4 有限標本において、ゼロ係数、定数係数、非パラメトリック係数を区別する能力はどのように評価できるか？
• RQ5 理論的一致性結果を、発散する説明変数数を有する半変動係数モデルへ拡張できるか？

主な発見

• 提案された二重縮小推定器は、モデル選択の一貫性を達成し、確率が1に近づく割合でゼロ係数を正しく同定する。
• 定数係数に対してオラクル性が達成され、その構造が事前に分かっているかのように効率的に推定可能である。
• 半パラメトリックBIC型基準の一貫性が確立され、高次元設定における正則化パラメータの自動的かつ一貫性ある選択が可能になる。
• 理論的バインディングにより、推定誤差が $ O_p(\sqrt{ns}/n) $ の速度で0に収束することが示され、Bスpline近似および設計行列の分解により追加項が制御される。
• 有限標本シミュレーションにより、高次元状況下でもゼロ係数、定数係数、変化係数を正確に区別できる能力が確認された。
• 真のゼロおよび定数係数構造が事前に分かっている場合でも、本手法の一貫性結果は新規であり、発散する説明変数数を有する半変動係数モデルへ拡張可能である。