[論文レビュー] Model selection by LASSO methods in a change-point model

Gabriela Ciuperca|arXiv (Cornell University)|Jul 5, 2011

Statistical Methods and Inference参考文献 20被引用数 5

ひとこと要約

本稿では、複数の未知の変化点を伴う高次元線形回帰モデルに対して、LASSOおよびアダプティブLASSO推定量を提案し、同時に回帰係数の推定と自動変数選択を可能にする。アダプティブLASSO推定量は、正則性条件の下でオラクル性質を達成する。

ABSTRACT

The paper considers a linear regression model with multiple change-points occurring at unknown times. The LASSO technique is very interesting since it allows the parametric estimation, including the change-points, and automatic variable selection simultaneously. The asymptotic properties of the LASSO-type (which has as particular case the LASSO estimator) and of the adaptive LASSO estimators are studied. For this last estimator the oracle properties are proved. In both cases, a model selection criterion is proposed. Numerical examples are provided showing the performances of the adaptive LASSO estimator compared to the LS estimator.

研究の動機と目的

• 高次元予測子を伴う変化点回帰モデルにおける変数選択手法の不足に対処する。
• 回帰係数と変化点を同時に推定するとともに、関連する共変量を選択する推定量を開発する。
• 複数の変化点を持つモデルにおけるアダプティブLASSOの漸近的性質、特にオラクル性質を確立する。
• LASSO型またはアダプティブLASSOに基づくモデル選択基準を提案し、変化点の数を推定する。
• 標準LASSOの制限を克服し、一貫性のある変数選択と最適な推定レートを保証する。

提案手法

• 回帰係数にL1ペナルティを課した残差平方和の最小化により、LASSO型推定を適用し、係数の縮小と変数選択を実現する。
• データに依存する重みを導入したアダプティブLASSOを提案し、変数選択の一貫性を向上させ、オラクル性質を達成する。
• 尤度関数にペナルティ項を付加するアプローチを採用し、推定係数に依存する形で不必要な変数を適応的に縮小する。
• 設計行列と誤差項に関する正則性条件の下で、推定量の収束速度と漸近正規性を確立する。
• アダプティブLASSOに基づくモデル選択基準を提案し、解のスパarsityを活用して変化点の数を推定する。
• 変化点間の各セグメントにおける推定量の挙動を分析し、未知の境界と回帰・変化点パラメータの両方に依存する構造を考慮する。

実験結果

リサーチクエスチョン

• RQ1 LASSO型手法は、複数の未知の変化点を伴う高次元線形回帰モデルに適応可能であり、同時に推定と変数選択を可能にするか？
• RQ2 変化点回帰モデルにおけるアダプティブLASSO推定量は、オラクル性質（特に一貫性のある変数選択と漸近正規推定）を達成するか？
• RQ3 複数の変化点が存在する場合、LASSO型およびアダプティブLASSO推定量の漸近的挙動にどのような影響を与えるか？
• RQ4 アダプティブLASSOから導出可能な、高次元設定における変化点の数を推定するモデル選択基準は何か？
• RQ5 変化点パラメータと回帰係数の推定が相関する状況下でも、推定量が一貫性と最適な収束レートを維持するための条件は何か？

主な発見

• アダプティブLASSO推定量はオラクル性質を達成する：正しいモデル（つまり、不要な変数の係数を確率1に近づけてゼロに設定）を一貫して選択し、非ゼロ係数を最適レートで推定する。
• LASSO型推定量は、特に大きな回帰係数に対して推定バイアスが生じるため、オラクル性質を満たさない。
• 正則性条件の下で、アダプティブLASSO推定量は変数選択において一貫性を示し、標本サイズが増加するにつれて正しいモデルを選択する確率が1に収束する。
• アダプティブLASSO推定量の収束速度は、各セグメント内での推定係数に対して $ O_{I ext{P}}(1) $ のオーダーであり、推定量は漸近正規性を満たす。
• 提案されたアダプティブLASSOに基づくモデル選択基準は、モデル内の変化点の数を一貫して推定可能である。
• 数値例では、アダプティブLASSOが、高次元変化点回帰モデルにおける変数選択の正確さと推定効率の両面で最小二乗推定量を上回ることを示している。