[論文レビュー] Confidence Intervals for Low-Dimensional Parameters With High-Dimensional Data

Cun‐Hui Zhang, Stephanie S. Zhang|arXiv (Cornell University)|Oct 12, 2011

Statistical Methods and Inference参考文献 27被引用数 29

ひとこと要約

この論文は、標本サイズを上回る予測変数の数を持つ高次元線形回帰モデルにおいて、個々の回帰係数や線形結合といった低次元パラメータの信頼区間を構築する手法を提案する。予測変数の数が標本サイズを上回る状況下でも、漸近正規性および一貫した分散共分散推定が確立され、シミュレーションによって検証された結果、正確な被覆確率が得られることを保証する。

ABSTRACT

Abstract. The purpose of this paper is to propose methodologies for statistical inference of low-dimensional parameters with high-dimensional data. We focus on constructing con-fidence intervals for individual coefficients and linear combinations of several of them in a linear regression model, although our ideas are applicable in a much broader context. The theoretical results presented here provide sufficient conditions for the asymptotic normality of the proposed estimators along with a consistent estimator for their finite-dimensional covariance matrices. These sufficient conditions allow the number of variables to far ex-ceed the sample size. The simulation results presented here demonstrate the accuracy of the coverage probability of the proposed confidence intervals, strongly supporting the theoretical results.

研究の動機と目的

• 予測変数の数が標本サイズを著しく上回る状況において、低次元パラメータの統計的推論の課題に対処すること。
• 高次元設定下で、個々の回帰係数や線形結合の有効な信頼区間を構築する手法を開発すること。
• 高次元モデルにおける推定量の漸近正規性を保証する十分条件を確立すること。
• 推定量の有限次元の分散共分散行列の一貫した推定器を提供すること。
• p ≫ n の状況でも信頼性のある推論を可能にし、古典的手法を高次元領域へ拡張すること。

提案手法

• 高次元線形モデルにおける低次元パラメータの不偏化（デバイアス補正）または非スパース化（デスペアシファイド）推定量を提案する。
• 提案された推定量が、p ≫ n の状況下でも漸近正規性を示すための十分条件を導出する。
• 高次元データを用いて、低次元パラメータの分散共分散行列の一貫した推定器を構築する。
• 2段階推定手順を活用する：まず高次元回帰係数を推定し、次に低次元パラメータのバイアスを補正する。
• 得られた漸近正規性を応用して、保証された被覆性を持つ信頼区間を構築する。
• さまざまな高次元設定下でシミュレーション研究を実施し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 予測変数の数が標本サイズを上回る状況において、個々の回帰係数の有効な信頼区間を構築できるか？
• RQ2 高次元モデルにおける低次元パラメータ推定量の漸近正規性を保証する条件は何か？
• RQ3 高次元設定下で、低次元パラメータの有限次元の分散共分散行列を一貫して推定する方法は何か？
• RQ4 高次元データ下で、提案された信頼区間の実証的被覆確率はどの程度か？
• RQ5 この手法は、個々の係数を越えて、高次元回帰モデルにおけるパラメータの線形結合に対しても拡張可能か？

主な発見

• 提案された低次元パラメータ推定量は、p ≫ n を許容する十分な条件下で漸近正規性を示す。
• パラメータの有限次元の分散共分散行列の一貫した推定器が導出され、有効な推論が可能になる。
• シミュレーション結果から、信頼区間の被覆確率が名目水準に近く、理論的主張を支持することが示された。
• 予測変数の数が標本サイズを著しく上回る状況でも、正確な被覆が維持される。
• このアプローチは、個々の係数を越えて、高次元回帰モデルにおけるパラメータの線形結合に対しても適用可能である。
• 理論的枠組みは、古典的手法が失敗する高次元モデルにおける推論の基盤を提供する。