[論文レビュー] Semi-parametric efficiency bounds and efficient estimation for high-dimensional models

Sara van de Geer, Jana Janková|arXiv (Cornell University)|Jan 5, 2016

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿は、局所一様漸近不偏性仮定の下で高次元モデルにおける半パラメトリック効率限界を確立し、明示的な分散下限値を導出する。また、これらの限界に達するデスパースファイド ℓ₁-ペナルティ付きM推定量を提案し、最小分散の正規分布に漸近的に収束することを示し、高次元線形回帰、ガウス型グラフィカルモデル、ガウス型系列モデルにおける漸近的効率性を証明する。

ABSTRACT

Asymptotic lower bounds for estimation play a fundamental role in assessing the quality of statistical procedures. In this paper we consider the possibility of establishing semi-parametric efficiency bounds for high-dimensional models and construction of estimators reaching these bounds. We propose a local uniform asymptotic unbiasedness assumption for high-dimensional models and derive explicit lower bounds on the variance of any asymptotically unbiased estimator. We show that an estimator obtained by de-sparsifying (or de-biasing) an $\ell_1$-penalized M-estimator is asymptotically unbiased and achieves the lower bound on the variance: thus it is asymptotically efficient. In particular, we consider the linear regression model, Gaussian graphical models and Gaussian sequence models under mild conditions. Furthermore, motivated by the results of Le Cam on local asymptotic normality, we show that the de-sparsified estimator converges to the limiting normal distribution with zero mean and the smallest possible variance not only pointwise, but locally uniformly in the underlying parameter. This is achieved by deriving an extension of Le Cam's Lemma to the high-dimensional setting.

研究の動機と目的

• 従来のパラメトリック仮定が成り立たない可能性がある高次元モデルにおける半パラメトリック効率限界を導出すること。
• 多くのパラメータを含む高次元設定において、可能な限り低い分散を達成する推定量を構築する課題に取り組むこと。
• 局所漸近正規性のレ・カム理論を高次元モデルに拡張し、限界正規分布への一様収束を保証すること。
• デスパースファイド推定量が漸近的に不偏であり、かつ効率的である条件を確立すること。
• 線形回帰、ガウス型グラフィカルモデル、ガウス型系列モデルなどの高次元統計モデルにおける効率的推論の理論的基盤を提供すること。

提案手法

• 高次元モデルにおける半パラメトリック効率限界の導出を可能にするために、局所一様漸近不偏性仮定を導入する。
• この仮定の下で、任意の漸近不偏推定量の分散に対する明示的な下限値を導出する。
• 正則化によって生じるバイアスを除去するために、ℓ₁-ペナルティ付きM推定量にデスパースファイジケーション技術を適用する。
• デスパースファイズド推定量が漸近的に不偏であり、導出された分散下限値に達することを示す。
• レ・カムの補題を高次元設定に拡張し、最小分散の正規分布への局所的・一様な収束を確立する。
• 弱い正則性条件の下で、線形回帰、ガウス型グラフィカルモデル、ガウス型系列モデルという具体的なモデルにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 最小の正則性仮定の下で、高次元モデルにおける半パラメトリック効率限界は何か？
• RQ2 デスパースファイズド ℓ₁-ペナルティ付きM推定量は、高次元設定で半パラメトリック効率限界に達するか？
• RQ3 デスパースファイズド推定量が最小の分散を持つ正規分布に収束する条件は何か？
• RQ4 レ・カムの局所漸近正規性理論を高次元モデルに拡張し、一様収束を保証するにはどうすればよいか？
• RQ5 理論的効率限界は、線形回帰やガウス型グラフィカルモデルなどの異なる高次元モデルにどの程度適用可能か？

主な発見

• 本稿は、局所一様漸近不偏性仮定の下で、高次元モデルにおける任意の漸近不偏推定量の分散に対する明示的な下限値を確立する。
• デスパースファイズド ℓ₁-ペナルティ付きM推定量が漸近的に不偏であり、導出された半パラメトリック効率限界に達することを示す。
• デスパースファイズド推定量は、パrameter空間全体で点ごとおよび局所的に一様に、平均0で最小の分散を持つ正規分布に収束する。
• 高次元モデルへのレ・カムの補題の拡張により、最小分散の限界正規分布への局所的・一様な収束が確認される。
• 弱い正則性条件の下で、線形回帰、ガウス型グラフィカルモデル、ガウス型系列モデルの3つの主要なモデルで結果が検証される。
• 理論的枠組みは、高次元統計における効率的推論の基盤を提供し、最適な分散と漸近正規性を保証する。