[论文解读] High Dimensional Principal Component Scores and Data Visualization

Dan Shen, Haipeng Shen+2 more|arXiv (Cornell University)|Nov 12, 2012

Bayesian Methods and Mixture Models参考文献 7被引用 4

一句话总结

本文解决了高维低样本量主成分分析（HDLSS）中的一个悖论：尽管特征向量是一致的，样本主成分得分却不是总体得分的一致估计量。研究发现，所有数据点的样本得分与总体得分之比以概率收敛于一个共同的随机变量，从而在可视化中保持了点之间的相对位置，即使轴标度不一致，也能实现可靠的聚类洞察。

ABSTRACT

Principal component analysis is a useful dimension reduction and data visualization method. However, in high dimension, low sample size asymptotic contexts, where the sample size is fixed and the dimension goes to infinity,a paradox has arisen. In particular, despite the useful real data insights commonly obtained from principal component score visualization, these scores are not consistent even when the sample eigen-vectors are consistent. This paradox is resolved by asymptotic study of the ratio between the sample and population principal component scores. In particular, it is seen that this proportion converges to a non-degenerate random variable. The realization is the same for each data point, i.e. there is a common random rescaling, which appears for each eigen-direction. This then gives inconsistent axis labels for the standard scores plot, yet the relative positions of the points (typically the main visual content) are consistent. This paradox disappears when the sample size goes to infinity.

研究动机与目标

• 研究在维度 d → ∞ 且样本量 n 固定的高维低样本量（HDLSS）设定下，主成分得分的渐近行为。
• 解决一个看似悖论的现象：尽管样本特征向量是一致的，样本主成分得分却不是总体得分的一致估计量。
• 理解为何在得分不一致的情况下，通过主成分得分进行的数据可视化依然有效。
• 建立在何种条件下，得分图中的相对结构对科学推断仍具可靠性。
• 澄清在HDLSS环境下，特征向量的一致性与得分的不一致性之间的区别。

提出的方法

• 采用高维低样本量渐近分析，其中 d → ∞ 且 n 固定，将数据建模为具有已知协方差结构的 d 元正态分布。
• 将总体主成分得分 S_j 定义为数据在总体特征向量 u_j 上的标准化投影。
• 将样本主成分得分 Ŝ_j 定义为使用样本特征向量 ŝ_j 和特征值 λ̂_j 所得的投影。
• 通过分析 |Ŝ_{i,j}/S_{i,j}| 来研究得分的一致性，将其分解为特征值与特征向量估计的贡献。
• 应用概率极限和几乎必然收敛，证明该比值以概率收敛于一个非退化的随机变量 R_j，其分布为 √(n/χ²_n)。
• 利用柯西-施瓦茨不等式和特征向量夹角的渐近结果，证明交叉项在 d → ∞ 时以概率趋于零。

实验结果

研究问题

• RQ1 为何在高维低样本量数据中，尽管样本得分不一致，主成分得分图仍具有视觉信息量？
• RQ2 在HDLSS设定下，样本与总体主成分得分之比的极限分布是什么？
• RQ3 得分的不一致性是否削弱了PCA图中视觉聚类模式的可靠性？
• RQ4 在何种条件下，得分的不一致性会消失，使得特征向量与得分均一致？
• RQ5 共同的随机缩放因子如何影响HDLSS设定下PCA可视化结果的解释？

主要发现

• 样本与总体主成分得分之比以概率收敛于一个非退化的随机变量 R_j，其分布为 √(n/χ²_n)，且对所有数据点相同。
• 这一共同的随机缩放因子导致PCA得分图中轴标签不一致，但点之间的相对位置保持一致。
• 尽管单个得分不一致，得分图中的相对结构（如聚类模式）依然可靠且可解释。
• 当样本量 n → ∞ 时，该得分不一致的悖论消失，此时特征向量与得分均趋于一致。
• 在假设 d → ∞ 且 d/λ_m → 0（特征值远离零）的条件下，该比值收敛于一个随机变量。
• 渐近行为通过总体协方差矩阵的特征分解以及样本特征值与特征向量的极限性质推导得出。