[論文レビュー] High Dimensional Sparse Econometric Models: An Introduction

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|Jun 26, 2011

Monetary Policy and Economic Impact被引用数 17

ひとこと要約

本稿は、予測子の数 $ p $ が非常に多く、そのうちわずかな部分集合 $ s \ll n $ のみが関連する高次元スパース経済推計モデルを導入する。$ \ell_1 $-正則化（Lasso）および後続の $ \ell_1 $-選択手法を用いて、弱いスパarsityおよび制限固有値条件の下で一貫したスパースモデル推定を提案し、理論的保証を確立するとともに、ソロ＝スワーン成長モデルを用いた実証的検証も行う。

ABSTRACT

In this chapter we discuss conceptually high dimensional sparse econometric models as well as estimation of these models using L1-penalization and post-L1-penalization methods. Focusing on linear and nonparametric regression frameworks, we discuss various econometric examples, present basic theoretical results, and illustrate the concepts and methods with Monte Carlo simulations and an empirical application. In the application, we examine and confirm the empirical validity of the Solow-Swan model for international economic growth.

研究の動機と目的

• 予測子の数 $ p $ がサンプルサイズ $ n $ を超える高次元スパース経済推計モデルの推定手法の開発および形式化。
• 設計行列のモーメント条件およびスパarsity条件下で、$ \ell_1 $-正則化および後続の $ \ell_1 $-選択推定量の理論的性質の確立。
• 高次元スパース回帰手法を用いて国際的経済成長を記述するソロ＝スワーンモデルの実証的妥当性の提示。
• 非パラメトリック回帰関数が、真の関数が複雑であっても、基底関数のスパース線形結合によって良好に近似可能であることを示す。
• 現代の高次元統計を用いた経済推計学におけるスパースモデリングの理論的基盤の提供。

提案手法

• スパース性を仮定した高次元スパース（HDS）線形モデル $ y_i = x_i'\beta_0 + \varepsilon_i $ を定式化し、$ \beta_0 $ が $ s \ll n $ 個の非ゼロ成分を持つことを想定する。
• 基底関数の展開を用いて近似HDSモデルを導入し、$ y_i = x_i'\beta_0 + r_i + \varepsilon_i $ と表す。ここで $ r_i $ は、$ p \gg n $ 個の基底関数を用いた際の小さな近似誤差を表す。
• $ \ell_1 $-正則化最小二乗法（Lasso）を用いて $ \beta_0 $ を推定し、$ \sum_{i=1}^n (y_i - x_i'\beta)^2 + \lambda \|\beta\|_1 $ を最小化する。
• 後続の $ \ell_1 $-選択（例：post-Lasso）を採用し、まずLassoで変数選択を行い、その後にOLSで選択されたモデルを推定する。
• 非漸近的推定誤差および予測誤差の境界を導出するため、制限固有値条件およびスパース固有値性質を用いる。
• 設計行列のモーメント条件およびスパarsity条件下で、モデル選択の一貫性および推定誤差率に関する理論的結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 $ p \gg n $ の高次元スパースモデルにおいて、$ s \ll n $ の変数のみが真に関連している場合、$ \ell_1 $-正則化を用いて一貫した推定が可能か？
• RQ2 非パラメトリックモデルにおける近似誤差 $ r_i $ は、$ \ell_1 $-ベース推定量の性能にどのように影響を与えるか？
• RQ3 高次元設定において、標準的なLassoに比べて後続の $ \ell_1 $-選択が推定精度を向上させられるか？
• RQ4 高次元スパース手法を用いて推定した場合、国際的成長を記述するソロ＝スワーンモデルは実証的に妥当か？
• RQ5 高次元スパースモデルにおける一貫した推定に必要な最小限のモーメント条件およびスパarsity条件は何か？

主な発見

• 理論的解析により、制限固有値条件の下で、$ \ell_1 $-正則化推定量は推定誤差率 $ \sqrt{s \log p / n} $ のオーダーで一致する。
• 後続の $ \ell_1 $-選択手法は、Lasso単体よりも推定誤差および予測誤差率が優れていることが示され、特に真のモデルがスパースである場合に顕著である。
• 非パラメトリックHDSモデルにおける近似誤差 $ r_i $ は、豊富な基底関数の辞書を用いることで小さく抑えられ、低次の多項式では複雑な関数形を捉えきれない場合でも有効である。
• モンテカルロシミュレーションにより、$ \ell_1 $-ベース手法の理論的性能が確認され、高次元設計およびスパarsityに対してロバストであることが示された。
• ソロ＝スワーンモデルへの実証的応用により、高次元スパース回帰手法を用いた場合、従来の低次元近似に比べて適合度が著しく向上し、モデルの妥当性が裏付けられた。
• 制限固有値およびスパース固有値条件に関する理論的境界は、弱いスパarsity下でも一貫した変数選択および推定を保証する。