[論文レビュー] A General Theory of Hypothesis Tests and Confidence Regions for Sparse High Dimensional Models

Yang Ning, Han Liu|arXiv (Cornell University)|Dec 30, 2014

Statistical Methods and Inference参考文献 43被引用数 26

ひとこと要約

この論文は、高次元のノイズパラメータの影響を軽減するためにデコリレーションスコア関数を提案することで、高次元スパースモデルにおける仮説検定および信頼領域構築の一般枠組みを導入する。この手法により、弱い正則性条件のもとでペナルティ付きM推定量に対する有効な推論が可能となり、漸近的型Iエラー制御、局所パワー、半パラメトリック効率性に関する理論的保証が得られ、凸および非凸ペナルティ、一般化損失関数、モデル不適合の状況にも適用可能である。

ABSTRACT

We consider the problem of uncertainty assessment for low dimensional components in high dimensional models. Specifically, we propose a decorrelated score function to handle the impact of high dimensional nuisance parameters. We consider both hypothesis tests and confidence regions for generic penalized M-estimators. Unlike most existing inferential methods which are tailored for individual models, our approach provides a general framework for high dimensional inference and is applicable to a wide range of applications. From the testing perspective, we develop general theorems to characterize the limiting distributions of the decorrelated score test statistic under both null hypothesis and local alternatives. These results provide asymptotic guarantees on the type I errors and local powers of the proposed test. Furthermore, we show that the decorrelated score function can be used to construct point and confidence region estimators that are semiparametrically efficient. We also generalize this framework to broaden its applications. First, we extend it to handle high dimensional null hypothesis, where the number of parameters of interest can increase exponentially fast with the sample size. Second, we establish the theory for model misspecification. Third, we go beyond the likelihood framework, by introducing the generalized score test based on general loss functions. Thorough numerical studies are conducted to back up the developed theoretical results.

研究の動機と目的

• 高次元ノイズパラメータを伴う高次元モデルにおける低次元成分の不確実性の定量化の欠如に対処すること。
• 凸および非凸ペナルティを含む、幅広いペナルティ付きM推定量に適用可能な一般推論枠組みを開発すること。
• 高次元の帰無仮説、モデル不適合、尤度に基づかない損失関数への推論を拡張すること。
• 提案手法の型Iエラー制御、局所パワー、半パラメトリック効率性に関する理論的保証を確立すること。
• 理論的および数値的分析を通じて、高次元線形モデルおよび一般化線形モデルにおける枠組みの妥当性を検証すること。

提案手法

• 目的パラメータとノイズパラメータの間の相関を除去するためのデコリレーションスコア関数を提案する。
• デコリレーションスコア関数を用いて、帰無仮説および局所代替仮説の下で漸近的分布が導出される検定統計量を構築する。
• デコリレーションスコア関数を用いて、半パラメトリックに効率的な推定量および最適な信頼領域を構築する。
• パラメータの数が標本サイズとともに増加する高次元の帰無仮説にもこの枠組みを拡張する。
• 尤度に基づかない推論へ一般化するため、任意の損失関数に基づく一般化スコア検定を導入する。
• 高次元の帰無仮説およびモデル不適合の下で実用的な推論を可能にするマルチプライヤーブートストラップ手順の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 高次元ノイズパラメータを伴う高次元モデルにおける低次元成分のための一般推論枠組みを開発できるか？
• RQ2 帰無仮説および局所代替仮説の下で、デコリレーションスコア検定統計量の漸近的分布は何か？
• RQ3 デコリレーションスコア関数は、どのようにして半パラメトリック効率性および最適な信頼領域を達成できるか？
• RQ4 この枠組みは高次元の帰無仮説およびモデル不適合に拡張可能か？
• RQ5 この手法は尤度に基づかない推論に一般化可能か、任意の損失関数にまで拡張可能か？

主な発見

• 帰無仮説の下で、デコリレーションスコア検定統計量は漸近的にカイ二乗分布に従い、型Iエラーの漸近的正しい制御が保証される。
• 検定は理論的下限に一致する局所パワーを達成しており、帰無仮説に近い代替仮説に対して高い感度を示す。
• デコリレーションスコア関数から導かれる推定量は、半パラメトリック効率性の下限に達しており、非パラメトリックモデルにおいて最適である。
• マルチプライヤーブートストラップ手順は、低次元の帰無仮説においても、パラメータの数が標本サイズとともに増加する場合にも正当化される。
• この枠組みはモデル不適合の下でも有効であり、高次元設定における「最小に誤った」パラメータの正式な推論を提供する。
• 理論的条件は高次元線形モデルおよび一般化線形モデルで検証され、広範な適用可能性が確認された。