[论文解读] A note on the prediction error of principal component regression

Martin Wahl|arXiv (Cornell University)|Nov 7, 2018

Statistical Methods and Inference参考文献 13被引用 4

一句话总结

本文通过将主成分回归（PCR）的预测误差与主成分分析（PCA）的重构误差关联，提供了PCR预测误差的非渐近上界。在温和假设下，PCR的性能几乎与使用总体主成分的虚拟最优方法相当，其误差界依赖于特征值衰减速度和样本量。

ABSTRACT

We analyse the prediction error of principal component regression (PCR) and prove non-asymptotic upper bounds for the corresponding squared risk. Under mild assumptions, we show that PCR performs as well as the oracle method obtained by replacing empirical principal components by their population counterparts. Our approach relies on upper bounds for the excess risk of principal component analysis.

研究动机与目标

• 在函数线性模型框架下，建立主成分回归（PCR）预测误差的非渐近上界。
• 量化使用经验主成分的PCR与使用总体主成分的理想虚拟最优方法之间的性能差距。
• 将PCR的预测误差与PCA的超额风险联系起来，从而将PCA理论中已知的界推广至PCR。
• 在一般特征值衰减假设下（包括多项式衰减），推导有限样本风险界。
• 为PCR在高维和函数型数据设置下的表现提供理论依据。

提出的方法

• 分析在可分希尔伯特空间框架下进行，将函数线性回归问题建模为随机设计问题。
• 将预测误差分解为两部分：截断特征展开带来的近似误差，以及使用经验主成分带来的估计误差。
• 利用扰动理论和经验过程工具，特别是Reiß和Wahl（2017）关于PCA超额风险的结果，对PCA的超额风险进行上界估计。
• 关键技术步骤包括构造一个投影阶数序列 $ r $，使得条件 $ \frac{\nu_r}{\nu_r - \nu_{r+1}} \leq C r $ 成立，从而保证特征值间隙的稳定性。
• 通过二元投影上的链式论证，控制经验子空间上投影误差的平方和。
• 最终界结合了近似误差 $ \lambda_{d+1}^{1+2s}\|h\|^2 $、方差项 $ \frac{\sigma^2 d}{n} $ 以及一个包含迹和指数衰减的余项 $ R $。

实验结果

研究问题

• RQ1 PCR的预测误差与使用总体主成分的虚拟最优估计器相比如何？
• RQ2 在一般特征值衰减下，PCR平方预测风险的非渐近上界可以如何推导？
• RQ3 能否通过PCA的超额风险来控制使用经验主成分与总体主成分之间的误差？
• RQ4 在多项式特征值衰减 $ \lambda_j \sim j^{-\alpha} $ 下，PCR的最优收敛速率是什么？
• RQ5 样本量 $ n $ 与截断维数 $ d $ 如何共同影响PCR的预测风险？

主要发现

• 在温和假设下，PCR的预测误差被上界控制为 $ C\left(\lambda_{d+1}^{1+2s}\|h\|^2 + \frac{\sigma^2 d}{n} + R\right) $，其中 $ R $ 捕获了经验PCA带来的误差。
• 对于多项式特征值衰减 $ \lambda_j \sim j^{-\alpha} $，预测风险被上界控制为 $ C\left(d^{-\alpha - 2s\alpha}\|h\|^2 + \frac{d^{2-\alpha}\log(ed)}{n}\|h\|^2 + \frac{\sigma^2 d}{n}\right) $，当 $ d^2 \log(ed) \leq cn $ 时成立。
• 余项 $ R $ 随 $ n/d^2 $ 呈指数衰减，表明当 $ d $ 随 $ n $ 缓慢增长时收敛速度很快。
• 该界是紧致的，即与虚拟最优风险仅相差对数和常数因子，表明PCR几乎达到最优性能。
• 分析表明，使用经验主成分带来的误差由PCA的超额风险控制，而该超额风险本身又通过扰动理论和经验过程技术得到有界控制。
• 结果在一般特征值衰减假设和次高斯设计下成立，常数仅依赖于 $ C_{ev}, \alpha, s $ 以及次高斯范数 $ C_{\psi_2} $。