[論文レビュー] Two Stage Non-penalized Corrected Least Squares for High Dimensional Linear Models with Measurement error or Missing Covariates

Abhishek Kaul, Hira L. Koul+2 more|arXiv (Cornell University)|May 10, 2016

Statistical Methods and Inference参考文献 21被引用数 8

ひとこと要約

本稿では、測定誤差または欠損共変量を伴う高次元線形モデルに対して、2段階の罰則なし補正最小二乗法を提案する。モデル選択と推定を分離することにより、正しいモデル選択下で推定誤差の最適な $√{s/n}$ $√{s/n}$ 速度収束を達成し、$γ$-罰則付き手法が達成する $√{s\log p/n}$ よりも優れている。また、全 $p\times p$ 行列ではなく、$s\times s$ の部分ブロックのみを必要とするため、計算負荷が著しく低減される。

ABSTRACT

This paper provides an alternative to penalized estimators for estimation and vari- able selection in high dimensional linear regression models with measurement error or missing covariates. We propose estimation via bias corrected least squares after model selection. We show that by separating model selection and estimation, it is possible to achieve an improved rate of convergence of the L2 estimation error compared to the rate sqrt{s log p/n} achieved by simultaneous estimation and variable selection methods such as L1 penalized corrected least squares. If the correct model is selected with high probability then the L2 rate of convergence for the proposed method is indeed the oracle rate of sqrt{s/n}. Here s, p are the number of non zero parameters and the model dimension, respectively, and n is the sample size. Under very general model selection criteria, the proposed method is computationally simpler and statistically at least as efficient as the L1 penalized corrected least squares method, performs model selection without the availability of the bias correction matrix, and is able to provide estimates with only a small sub-block of the bias correction covariance matrix of order s x s in comparison to the p x p correction matrix required for computation of the L1 penalized version. Furthermore we show that the model selection requirements are met by a correlation screening type method and the L1 penalized corrected least squares method. Also, the proposed methodology when applied to the estimation of precision matrices with missing observations, is seen to perform at least as well as existing L1 penalty based methods. All results are supported empirically by a simulation study.

研究の動機と目的

• 測定誤差または欠損共変量を伴う高次元線形モデルにおける $γ$-罰則付き推定量の計算的・統計的に効率的な代替手法の開発。
• モデル選択と推定を分離することで、$√{2}$ 推定誤差の収束速度を向上させること。
• 全 $p\times p$ 偏り補正行列への依存を減らし、$s\times s$ の部分ブロックのみを必要とするようにすることで、高次元における実行可能性を高めること。
• $γ$-罰則付き補正最小二乗法と同等以上にモデル選択および推定性能を発揮し、正しいモデル選択下でより高い効率性を示すことを示すこと。

提案手法

• 2段階手順を提案：まず相関スクリーニングまたは $γ$-罰則付き手法を用いてモデル選択を行い、その後、選択されたモデルに対して罰則なし補正最小二乗法を適用する。
• 測定誤差や欠損データを考慮した偏り補正損失関数を用いるが、必要な $s\times s$ 部分ブロックのみを計算する。
• CandesとTao（2007年）およびBelloniとChernozhukov（2013年）のインスパイドされた2段階リファイニング戦略を採用し、最初にモデル選択を行い、その後に偏り補正推定を実行する。
• 正しいモデルが高確率で選択されると仮定することで、推定量がオラクルレートを達成可能となる。
• 欠損観測値を伴う精度行列推定にこの手法を適用し、$γ$-罰則付き代替手法と同等またはより優れた性能を示す。
• 集中不等式と高次元漸近理論を用いて、推定誤差とモデル選択の一貫性に関する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 2段階の罰則なし補正最小二乗法は、$γ$-罰則による同時推定と変数選択と比較して、$√{2}$ 推定誤差の収束速度をより速くできるか？
• RQ2 全 $p\times p$ 偏り補正行列を必要とせず、計算複雑性を低減できるか？
• RQ3 正しいモデルが高確率で選択された場合、$√{s/n}$ のオラクルレートを $√{2}$ 推定誤差で達成できるか？
• RQ4 実験的に、$γ$-罰則付き補正最小二乗法と比較して、推定精度、モデル選択、計算速度の観点で本手法はどのように異なるか？
• RQ5 本手法は欠損データ下での精度行列推定に成功に拡張可能であり、既存の $γ$-罰則付き手法を上回る性能を示せるか？

主な発見

• 正しいモデルが高確率で選択された場合、提案手法は $√{2}$ 推定誤差の最適な $√{s/n}$ 速度収束を達成し、$γ$-罰則付き補正最小二乗法の $√{s\log p/n}$ よりも優れている。
• 本手法は全 $p\times p$ 行列ではなく、$s\times s$ の部分ブロックのみを必要とするため、$γ$-罰則付き手法と比較して計算負荷が著しく低減される。
• 偏り補正行列へのアクセスがなくてもモデル選択が可能であり、高次元設定における柔軟性と実行可能性が向上する。
• 実験的結果から、本手法は $γ$-罰則付き手法と比較して、より正確なモデル同定と高速な計算を達成しており、特に大規模データセットにおいて顕著である。
• 欠損観測値を伴う精度行列推定において、本手法は $γ$-罰則付き補正最小二乗法と同等以上に性能を発揮し、広範な応用可能性を示唆している。
• 理論的分析により、相関スクリーニングや $γ$-罰則付き選択を含む一般なモデル選択基準に対しても、統計的効率性と一貫性が保たれることを確認した。