[论文解读] Asymptotic distribution of principal component scores for pervasive, high-dimensional eigenvectors

Kristoffer H. Hellton, Magne Thoresen|arXiv (Cornell University)|Jan 13, 2014

Gene expression and cancer classification被引用 4

一句话总结

本文解释了为何尽管在高维特征向量中存在理论上的不一致，经典主成分分析（PCA）在可视化高维遗传数据时仍保持有效。研究证明，当信号普遍存在——即特征值随维度线性增长时——样本PCA得分是总体得分的、经过缩放和旋转后的版本，从而保持了相对位置和得分图的视觉可解释性。

ABSTRACT

Plots of scores from principal component analysis are a popular approach to visualize and explore high-dimensional genetic data. However, the inconsistency of the high-dimensional eigenvectors has discredited classical principal component analysis and helped motivate sparse principal component analysis where the eigenvectors are regularized. Still, classical principal component analysis is extensively and successfully used for data visualization, and our aim is to give an explanation of this paradoxical situation. We show that the visual information given by the relative positions of the scores will be consistent, if the related signal can be considered to be pervasive. Firstly, we argue that pervasive signals lead to eigenvalues scaling linearly with the dimension, and we discuss genetic applications where such pervasive signals are reasonable. Secondly, we prove within the high-dimension low sample size regime, that when eigenvalues scale linearly with the dimension, the sample component scores will appear as scaled and rotated versions of the population scores. In consequence, the relative positions and visual information conveyed by the score plots will be consistent.

研究动机与目标

• 解决经典PCA在高维遗传数据可视化中持续成功与高维特征向量理论不一致之间的悖论。
• 识别PCA得分图在高维设置下保持视觉一致性和可解释性的条件。
• 形式化样本主成分得分可靠反映总体得分的条件，即使特征向量不一致。
• 为经典PCA在数据可视化中的广泛经验成功建立理论基础。

提出的方法

• 在高维、小样本的设定下进行理论分析，重点关注PCA得分的渐近行为。
• 本文将信号结构建模为普遍的，即所有变量均对信号有贡献，导致特征值随维度线性增长。
• 推导样本主成分得分的渐近分布，表明其收敛于总体得分的缩放和旋转版本。
• 利用随机矩阵理论刻画在特征值线性增长下，样本得分与总体得分之间的关系。
• 通过证明样本与总体得分之间的变换是确定性且可逆的，建立得分图中相对位置的一致性。
• 核心论点基于以下事实：线性特征值增长可确保主成分在高维下一致地捕捉主导信号结构。

实验结果

研究问题

• RQ1 在高维设定下，样本主成分得分在何种条件下仍与总体得分保持一致？
• RQ2 为何经典PCA尽管已知存在高维特征向量不一致，仍能持续生成可靠且可解释的得分图？
• RQ3 普遍信号结构如何影响高维数据中PCA得分的渐近行为？
• RQ4 何种数学条件可确保PCA得分图中的视觉模式具有统计意义，而非人为产物？
• RQ5 线性增长的特征值在多大程度上能保持高维数据中得分的相对几何结构？

主要发现

• 当特征值随维度线性增长时，样本主成分得分收敛于总体得分的确定性、缩放和旋转版本。
• PCA得分图中点的相对位置在样本与总体得分间保持一致，从而维持了视觉可解释性。
• 在特征值线性增长下，样本与总体得分之间的变换在渐近意义上是确定性且可逆的。
• 普遍信号——即所有变量均对信号有贡献——导致特征值线性增长，从而稳定了PCA得分的渐近行为。
• 研究结果解释了经典PCA在可视化高维遗传数据中的经验成功，即使特征向量不一致。
• 本研究为在数据可视化中使用经典PCA提供了理论依据，尤其适用于具有普遍信号的遗传应用。