[論文レビュー] Oracle Inequalities for High-Dimensional Panel Data Models

Anders Kock|arXiv (Cornell University)|Oct 30, 2013

Spatial and Panel Data Analysis参考文献 21被引用数 11

ひとこと要約

本稿は、回帰変数の数が標本サイズを上回る高次元固定効果パネルデータモデルに対して、パネル・ラッソ推定量を導入する。スパarsity仮定の下で、推定誤差に関する鋭いオラクル不等式を確立し、ラッソおよびアダプティブ・ラッソの一致性と漸近的符号一致性を証明するとともに、弱相関、異分散性、非正規誤差の下でもこれらの手法が有効であることを示す。

ABSTRACT

This paper is concerned with high-dimensional panel data models where the number of regressors can be much larger than the sample size. Under the assumption that the true parameter vector is sparse we propose a panel-Lasso estimator and establish finite sample upper bounds on its estimation error under two different sets of conditions on the covariates as well as the error terms. In particular, we allow for heteroscedastic and non-gaussian error terms which are weakly dependent over time. Upper bounds on the estimation error of the unobserved heterogeneity are also provided under the assumption of sparsity. Next, we show that our upper bounds are essentially optimal in the sense that they can only be improved by multiplicative constants. These results are then used to show that the Lasso can be consistent in even very large models where the number of regressors increases at an exponential rate in the sample size. Conditions under which the Lasso does not discard any relevant variables asymptotically are also provided. In the second part of the paper we give lower bounds on the probability with which the adaptive Lasso selects the correct sparsity pattern in finite samples. These results are then used to give conditions under which the adaptive Lasso can detect the correct sparsity pattern asymptotically. We illustrate our finite sample results by simulations and apply the methods to search for covariates explaining growth in the G8 countries.

研究の動機と目的

• 標本サイズを上回る回帰変数を含む高次元固定効果パネルデータモデルに対して、計算的に実行可能で理論的に整合性のある推定量を開発すること。
• スパarsityのもとで、係数ベクトルおよび未観測の異質性の推定誤差に対する有限標本上界を確立すること。
• 回帰変数の数が標本サイズとともに指数関数的に増加する場合でも、ラッソおよびアダプティブ・ラッソが一致性と正しい変数選択を達成できることを示すこと。
• アダプティブ・ラッソによるスパース・パターン選択の確率に対する非漸近的上界を導出すること。
• 提示された上界が本質的に最適であり、乗法的定数の改善を除いては向上しないことを示すこと。

提案手法

• 高次元固定効果パネルモデルにおいて、同時に変数選択とパrameter推定を実行するパネル・ラッソ推定量を提案する。
• 2つの異なるモーメントおよび誤差条件の下で、係数ベクトル $\hat{\beta}$ および未観測の異質性 $\hat{c}$ の推定誤差に関する有限標本オラクル不等式を導出する。
• 弱相関および異分散性の下で推定量の挙動を制御するために、高確率事象 $\mathcal{A}_{N,T}$, $\mathcal{B}_{N,T}$, および $\mathcal{C}_{1,N,T}$ に依存する。
• L1ペナルティにデータに依存する重みを適用することで、変数選択の一致性を向上させるためにアダプティブ・ラッソを用いる。
• 推定係数の符号が真のパrameterの符号と一致する確率が高くなるような条件を確立する。
• 集中不等式と設計行列および誤差項のモーメント条件の組み合わせを用いて、非漸近的上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 回帰変数の数が標本サイズとともに指数関数的に増加する高次元パネルデータモデルにおいて、ラッソ推定量が一貫した推定を達成できるか。
• RQ2 ラッソ推定量が高次元設定において一貫性を保ち、関連する変数を除外しない条件は何か。
• RQ3 パネル・ラッソの係数および未観測の異質性の推定誤差に対する有限標本上界は何か。
• RQ4 アダプティブ・ラッソが有限標本において高い確率で正しいスパース・パターンを選択できる条件は何か。
• RQ5 誤差項の弱相関および異分散性が、パネル・モデルにおけるラッソおよびアダプティブ・ラッソの性能に与える影響は何か。

主な発見

• パネル・ラッソ推定量は、誤差項の弱相関および異分散性が存在する場合でも、乗法的定数の差を除いて最適な推定誤差上界を達成する。
• 真のパrameterベクトルがスパースで、設計行列が適切なモーメント条件を満たす限り、ラッソ推定量は係数ベクトル $\beta^*$ および未観測の異質性 $c^*$ に対して一貫性を示す。
• アダプティブ・ラッソは、$3b + c < 1 + a$、$5b + 3c < 1 + a$、および $2b + 3c < 1 + a$ などの条件下で、有限標本において高い確率で正しいスパース・パターンを選択する。
• 符号一致性の漸近的性質が $9b + 2c \leq 1$ の下で確立され、推定係数の符号が真のパrameterの符号と確率1に近づくことを保証する。
• 上記の正則性条件のもとで、アダプティブ・ラッソによる正しい変数選択の確率は、回帰変数の数が標本サイズとともに指数関数的に増加する場合でも1に近づく。
• 本稿は、真のパrameterベクトルがスパースで、設計行列が制限固有値型の条件を満たす限り、$p_{N,T}$ が $NT$ に対して指数関数的に増加するモデルでも、ラッソが一貫性を示す可能性があることを示している。