[論文レビュー] A note on the prediction error of principal component regression

Martin Wahl|arXiv (Cornell University)|Nov 7, 2018

Statistical Methods and Inference参考文献 13被引用数 4

ひとこと要約

本稿は、主成分分析（PCA）の再構成誤差と関連付けることにより、主成分回帰（PCR）の予測誤差に対する非漸近的上界を提供する。弱い仮定の下で、PCRは母集団レベルの主成分を用いたオラクル手法とほぼ同等の性能を示し、誤差境界は固有値の減衰度と標本サイズに依存する。

ABSTRACT

We analyse the prediction error of principal component regression (PCR) and prove non-asymptotic upper bounds for the corresponding squared risk. Under mild assumptions, we show that PCR performs as well as the oracle method obtained by replacing empirical principal components by their population counterparts. Our approach relies on upper bounds for the excess risk of principal component analysis.

研究の動機と目的

• 関数線形モデルの枠組みにおいて、主成分回帰（PCR）の予測誤差に対する非漸近的上界を確立すること。
• 標本主成分を用いたPCRと、母集団レベルの主成分を用いた理想のオラクル手法との間の性能差を定量化すること。
• PCRの予測誤差をPCAの余剰リスクと結びつけることにより、PCA理論で知られている境界をPCRに転用すること。
• 一般の固有値減衰仮定（多項式減衰を含む）の下で有限標本リスク境界を導出すること。
• 高次元および関数データ設定におけるPCRの性能に対する理論的裏付けを提供すること。

提案手法

• 関数線形回帰問題を確率的設計のもとに、可分ヒルベルト空間の枠組みでモデル化する。
• 予測誤差を2つの成分に分解する：固有展開の切断による近似誤差と、標本主成分を用いることによる推定誤差。
• PCAの余剰リスクを、摂動理論と経験過程の道具を用いて境界づける。特に、ReißとWahl（2017）によるPCAにおける余剰リスクの結果を活用する。
• 重要な技術的ステップとして、$ \frac{\nu_r}{\nu_r - \nu_{r+1}} \leq C r $ を満たすような投影ランクの列 $ r $ を構成し、固有値ギャップにおける安定性を保証する。
• 二進的射影の上でのチェーン法を用いて、標本部分空間への射影誤差の二乗和を制御する。
• 最終的な境界は、近似誤差 $ \lambda_{d+1}^{1+2s}\|h\|^2 $、分散項 $ \frac{\sigma^2 d}{n} $、およびトレースと指数的減衰を含む剰余項 $ R $ を組み合わせたものである。

実験結果

リサーチクエスチョン

• RQ1 PCRの予測誤差は、母集団主成分を用いたオラクル推定量のそれと比べてどのように異なるか？
• RQ2 一般の固有値減衰の下で、PCRの二乗予測リスクに対する非漸近的上界をどのように導出できるか？
• RQ3 標本主成分と母集団主成分の使用による誤差は、PCAの余剰リスクを介して制御可能か？
• RQ4 多項式的固有値減衰 $ \lambda_j \sim j^{-\alpha} $ の下で、PCRの最適収束レートは何か？
• RQ5 標本サイズ $ n $ と切断次元 $ d $ が、PCRの予測誤差にどのように同時に影響を与えるか？

主な発見

• 弱い仮定の下で、PCRの予測誤差は $ C\left(\lambda_{d+1}^{1+2s}\|h\|^2 + \frac{\sigma^2 d}{n} + R\right) $ で有界であり、$ R $ は標本PCAからの誤差を捉えている。
• 多項式的固有値減衰 $ \lambda_j \sim j^{-\alpha} $ の下で、予測誤差は $ C\left(d^{-\alpha - 2s\alpha}\|h\|^2 + \frac{d^{2-\alpha}\log(ed)}{n}\|h\|^2 + \frac{\sigma^2 d}{n}\right) $ で有界であり、$ d^2 \log(ed) \leq cn $ のとき有効である。
• 剰余項 $ R $ は $ n/d^2 $ に関して指数的に減衰するため、$ d $ が $ n $ に対してゆっくりと増加する場合には高速収束を示す。
• 境界は、対数的および定数因子を除いてオラクルリスクと一致するため、鋭いものであり、PCRがほぼ最適性能に達していることを示している。
• 分析により、標本主成分を用いることによる誤差は、PCAの余剰リスクによって制御可能であり、その余剰リスク自体が摂動理論と経験過程技法によって境界づけられていることが示された。
• 結果は、固有値減衰に関する一般仮定と、サブガウス型設計の下で成り立ち、定数は $ C_{ev}, \alpha, s $、およびサブガウスノルム $ C_{\psi_2} $ のみに依存する。