[論文レビュー] On Principal Component Regression in a High-Dimensional Error-in-Variables Setting.

Anish Agarwal, Devavrat Shah+1 more|arXiv (Cornell University)|Oct 27, 2020

Statistical Methods and Inference参考文献 30被引用数 4

ひとこと要約

本稿は、共変数がノイズで汚されており、欠損値を含み、共変数の数が標本サイズを上回る高次元の誤差項付きモデルにおける主成分回帰（PCR）を研究する。PCRが最小 $β_2$-ノルム解を一貫して推定できることを確立し、推定および予測の非漸近的誤差率を、標本内と標本外の共変数が同一分布に従わない場合でさえも導出する。

ABSTRACT

We analyze the classical method of principal component regression (PCR) in a high-dimensional error-in-variables setting. Here, the observed covariates are not only noisy and contain missing values, but the number of covariates can also exceed the sample size. Under suitable conditions, we establish that PCR identifies the unique linear model parameter with minimum $\ell_2$-norm, and derive non-asymptotic $\ell_2$-rates of convergence that show its consistency. Furthermore, we develop an algorithm for out-of-sample predictions in the presence of corrupted data that uses PCR as a key subroutine, and provide its non-asymptotic prediction performance guarantees. Notably, our results do not require the out-of-samples covariates to follow the same distribution as that of the in-sample covariates, but rather that they obey a simple linear algebraic constraint. We provide simulations that illustrate our theoretical results.

研究の動機と目的

• 高次元の設定において、ノイズと欠損のある共変数を伴う主成分回帰（PCR）の挙動を理解すること。
• 高次元の誤差項付きモデルにおいて、PCRが最小 $β_2$-ノルム解を推定する際に理論的に一貫性を示すことを確立すること。
• 標本外の共変数が標本内と同一の分布に従わない場合でも有効なままとなる、標本外データの予測アルゴリズムの開発。
• ノイズ、欠損、高次元の共変数を伴う高次元設定において、推定および予測の非漸近的 $β_2$-ノルム誤差率を導出すること。

提案手法

• 本手法は、観測された共変数がノイズで汚されており、欠損値を含む高次元の誤差項付きフレームワークにおけるPCRを分析する。
• 適切な設計行列および誤差構造に関する正則性条件の下で、PCRが一意な最小 $β_2$-ノルム解を特定することを確立する。
• PCR推定量の非漸近的 $β_2$-ノルム収束レートを導出し、$p > n$ であっても一貫性が保たれることを示す。
• 標本外共変数に線形代数的制約が課される場合に有効な、PCRをサブルーチンとして用いる標本外予測アルゴリズムを提案し、性能保証を提供する。
• 理論的分析は、推定誤差を制御するための高次元ランダム行列理論および集中不等式に依拠する。
• 本手法は、標本外共変数が標本内共変数と同一の分布に従う必要はなく、単純な線形代数的条件を満たすだけでよい。

実験結果

リサーチクエスチョン

• RQ1 ノイズと欠損のある共変数を伴う高次元の誤差項付きモデルにおいて、PCRは最小 $β_2$-ノルム解を一貫して推定するか？
• RQ2 $p > n$ の高次元設定において、PCR推定の非漸近的 $β_2$-ノルム誤差率はどのように導出できるか？
• RQ3 標本外共変数が標本内共変数と同一の分布に従わない場合でも、PCRは信頼性高く標本外予測に使用できるか？
• RQ4 PCRをサブルーチンとして用いる場合、標本外データにどのような条件が課されれば有効な予測性能が保証されるか？
• RQ5 高次元の誤差項付きモデルにおいて、PCRの理論的誤差境界はノイズレベル、次元、標本サイズにどのように依存するか？

主な発見

• 適切な正則性条件の下で、高次元の誤差項付きモデルにおいてPCRは一意な最小 $β_2$-ノルム解を一貫して推定する。
• 推定の非漸近的 $β_2$-ノルム誤差率が導出され、共変数の数が標本サイズを上回る場合でも一貫性が保たれる。
• 線形代数的制約が標本外共変数に課される場合に、PCRに基づく予測アルゴリズムは非漸近的性能保証を達成するが、分布の類似性は要求されない。
• 理論的境界は、標本外共変数が標本内共変数と同じ分布に従う必要はなく、構造的条件にのみ依存する。
• シミュレーションにより理論的予測が確認され、PCRがノイズ、欠損データ、高次元性に対して頑健であることが示された。
• 本研究の結果は、腐損したデータを伴う高次元設定におけるPCRの理論的基盤を確立し、古典的なi.i.d.仮定を超えてその適用範囲を拡張する。