[論文レビュー] High-Dimensional Metrics in R

Victor Chernozhukov, C. Hansen+1 more|arXiv (Cornell University)|Mar 5, 2016

Statistical Methods and Inference参考文献 6被引用数 3

ひとこと要約

この論文は、高次元の近似的にスパースなモデルにおける推論の理論的根拠とデータ駆動型手法を提供するRパッケージhdmを紹介する。このパッケージは、異分散性および非正規誤差を伴う厳密なリッジ回帰（rlasso）を用いて、処置効果や回帰係数などの低次元パラメータの効率的推定と一様に有効な信頼区間を可能にし、従来の交差検証に比べ理論的・効率的性能が優れている。

ABSTRACT

The package High-dimensional Metrics (\Rpackage{hdm}) is an evolving collection of statistical methods for estimation and quantification of uncertainty in high-dimensional approximately sparse models. It focuses on providing confidence intervals and significance testing for (possibly many) low-dimensional subcomponents of the high-dimensional parameter vector. Efficient estimators and uniformly valid confidence intervals for regression coefficients on target variables (e.g., treatment or policy variable) in a high-dimensional approximately sparse regression model, for average treatment effect (ATE) and average treatment effect for the treated (ATET), as well for extensions of these parameters to the endogenous setting are provided. Theory grounded, data-driven methods for selecting the penalization parameter in Lasso regressions under heteroscedastic and non-Gaussian errors are implemented. Moreover, joint/ simultaneous confidence intervals for regression coefficients of a high-dimensional sparse regression are implemented, including a joint significance test for Lasso regression. Data sets which have been used in the literature and might be useful for classroom demonstration and for testing new estimators are included. \R and the package \Rpackage{hdm} are open-source software projects and can be freely downloaded from CRAN: exttt{http://cran.r-project.org}.

研究の動機と目的

• パラメータ数が標本サイズを上回る高次元モデルにおける統計的推論の課題に対処すること。
• 高次元の近似的にスパースなモデルにおける低次元成分（例：処置効果、回帰係数）に対する有効な推論手法を開発すること。
• 交差検証に依存しない理論的根拠に基づいたデータ駆動型のリッジ回帰のペナルティパラメータλの選択法を提供すること。
• 高次元設定における複数の回帰係数のための同時および連合信頼領域を可能にすること。
• 一様に有効な信頼区間と仮説検定を通じて、計量経済学およびデータサイエンスの応用における因果推論を促進すること。

提案手法

• 非正規および異分散誤差を扱える「厳密なリッジ回帰」（rlasso）推定量を実装し、高次元回帰におけるロバストネスを向上させること。
• リッジ回帰におけるペナルティパラメータλの選択に、理論的根拠に基づいたデータ駆動型手法を導入し、交差検証に比べ計算負荷を低減すること。
• 部分回帰（partialling out）を用いた直交性の原則を応用し、高次元モデルにおけるターゲット係数の信頼区間を構築すること。
• Belloni, Chernozhukov, and Kato (2014) の枠組みを活用し、高次元回帰係数のための一様に有効な連合信頼領域を構築すること。
• 二重/デバイアス除去機械学習の原則を用いて、平均処置効果（ATE）、処置群に対する平均処置効果（ATET）、および内生的処置設定における推論を拡張すること。
• 実応用および実世界のデータセット（例：CPS, BLP, AJR, EminentDomain）を統合し、計量経済学およびそれ以上の分野における手法の実用的有効性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 高次元の近似的にスパースなモデルにおいて、単一の回帰係数のための一様に有効な信頼区間をどのように構築できるか？
• RQ2 誤差が異分散性または非正規分布である場合に、理論的根拠に基づいたデータ駆動型のリッジ回帰のペナルティパラメータλの選択法は何か？
• RQ3 高次元設定において、複数の回帰係数のための有効な同時カバレッジを満たす連合推論をどのように行えるか？
• RQ4 多くの混同変数が存在する高次元モデルにおいて、平均処置効果（ATEおよびATET）を推定・検定することは可能か？
• RQ5 内生的処置および多数の制御変数を伴う高次元設定において、工具変数推定をどのように拡張できるか？

主な発見

• hdmにおけるrlasso推定量は、異分散性および非正規誤差分布下でも、高次元回帰係数の一貫性および効率性を保証する。
• rlassoのデータ駆動型ペナルティ選択法は、交差検証に比べ計算コストを低減しつつ理論的有効性を維持する。
• 直交性の原則を用いた信頼区間の構築により、高次元設定でも正しいカバレッジ率を確保する一様に有効な信頼区間が得られる。
• 複数の回帰係数のための信頼領域は実装されており、高次元Z推定量理論のもとで有効であることが示された。
• 401(k)参加や経済開発に関する応用を通じて、多くの混同変数を伴う高次元モデルにおけるATEおよびATETの信頼できる推論が可能である。
• 実データセット（例：CPS, BLP, AJR, EminentDomain）の統合により、計量経済応用における再現可能性研究および新規推定量のベンチマークが可能となった。