[論文レビュー] Confidence Intervals for Low-Dimensional Parameters in High-Dimensional Linear Models

Cun‐Hui Zhang, Stephanie S. Zhang|arXiv (Cornell University)|Oct 12, 2011

Statistical Methods and Inference参考文献 32被引用数 14

ひとこと要約

本稿では、予測子の数が標本サイズを上回る高次元線形モデルにおいて、個々の回帰係数またはその線形結合のための有効な信頼区間を構築するための低次元射影（LDP）手法を提案する。この手法は、一様な信号強度条件を必要とせず、弱い信号や中程度の信号でも正確な推論を可能にする。

ABSTRACT

The purpose of this paper is to propose methodologies for statistical inference of low-dimensional parameters with high-dimensional data. We focus on constructing confidence intervals for individual coefficients and linear combinations of several of them in a linear regression model, although our ideas are applicable in a much broad context. The theoretical results presented here provide sufficient conditions for the asymptotic normality of the proposed estimators along with a consistent estimator for their finite-dimensional covariance matrices. These sufficient conditions allow the number of variables to far exceed the sample size. The simulation results presented here demonstrate the accuracy of the coverage probability of the proposed confidence intervals, strongly supporting the theoretical results.

研究の動機と目的

• 予測子の数 p が標本サイズ n を上回る高次元線形モデルにおける統計的推論の課題に対処すること。
• 多くの回帰係数が弱いか中程度の大きさである場合でも、有効な信頼区間が得られるように、低次元パラメータ（例えば、個々の係数や対比）の信頼区間を構築すること。
• 変数選択の一貫性に一般的に要求される「一様な信号強度条件」を排除することで、弱い信号を伴う現実的な状況でも推論を可能にすること。
• 提案された推定量の漸近正規性およびその分散共分散行列の一貫性推定に関する理論的裏付けを提供すること。
• 多重性補正を施した信頼区間を用いて同時に複数のパラメータに対する推論を可能にし、変数選択のみよりも情報量の多い推論を提供すること。

提案手法

• 所定の係数の集合に基づく低次元部分空間に高次元回帰問題を射影する低次元射影（LDP）推定量を提案する。
• 正則化（例：Lasso）によって生じるバイアスを補正するためのデバイアス化（またはデスパーシファイド）推定量を用い、低次元パラメータの推定量の漸近正規性を実現する。
• 精度行列の逆行列と残差に基づく分散推定を用いて、LDP推定量の分散共分散行列の一貫性推定を実施する。
• 設計行列の制限固有値または非一貫性性の性質に関する正則性条件に依存し、真の回帰係数ベクトルのスパarsityを仮定する。
• スケーリングLasso推定量を用いて誤差分散を一貫して推定し、高次元設定下でのロバストネスを確保する。
• スパarsityと設計行列の制約を用いてバイアスと分散を制御することで、p ≫ n であってもLDP推定量が漸近正規になる理論的条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 一様な信号強度条件を必要とせずに、高次元線形モデルにおいて低次元パラメータの有効な信頼区間を構築できるか？（つまり、すべての非ゼロ係数が大きくなければならないという条件を満たさない場合でも。）
• RQ2 LDP推定量の個々の係数または対比の漸近正規性を保証するための設計行列および誤差構造に必要な十分条件は何か？
• RQ3 高次元設定下で、LDP推定量の有限次元的分散共分散行列を一貫して推定する方法は何か？
• RQ4 提案手法は、複数のパラメータに対して同時に推論を可能にし、適切な被覆確率を維持できるか？
• RQ5 弱い信号が存在する状況で、LDPアプローチは従来の選択後推論手法よりも被覆精度に優れているか？

主な発見

• 提案されたLDP推定量は、p が n よりも著しく大きい場合でも、きわめて弱い正則性条件のもとで漸近正規性を示す。
• 一様な信号強度条件を必要とせず、個々の係数や線形結合のための有効な信頼区間が得られる。これは実際の状況ではしばしば破られる条件である。
• 精度行列と残差分散推定に基づくデバイアス化アプローチにより、LDP推定量の有限次元的分散共分散行列を一貫して推定可能である。
• シミュレーション結果は、提案された信頼区間の被覆確率が名目水準に近く、理論的結果を裏付けている。
• 多重性補正を施した信頼区間により、複数の低次元パラメータに対する同時に推論が可能であり、変数選択のみよりも豊かな推論的インサイトを提供する。
• スパarsity仮定および設計行列の制限固有値条件のもとで理論的保証が成立し、高次元領域でもロバストである。