[论文解读] A Tutorial on Principal Component Analysis

Jonathon Shlens|arXiv (Cornell University)|Apr 3, 2014

Blind Source Separation Techniques参考文献 10被引用 2,265

一句话总结

本教程提供PCA的直观与数学处理，展示其与协方差、特征向量以及奇异值分解（SVD）的关系，并就何时以及如何应用PCA提供指南。

ABSTRACT

Principal component analysis (PCA) is a mainstay of modern data analysis - a black box that is widely used but (sometimes) poorly understood. The goal of this paper is to dispel the magic behind this black box. This manuscript focuses on building a solid intuition for how and why principal component analysis works. This manuscript crystallizes this knowledge by deriving from simple intuitions, the mathematics behind PCA. This tutorial does not shy away from explaining the ideas informally, nor does it shy away from the mathematics. The hope is that by addressing both aspects, readers of all levels will be able to gain a better understanding of PCA as well as the when, the how and the why of applying this technique.

研究动机与目标

• 解释PCA作为从高维数据中提取有意义结构的方法的动机与目标。
• 通过一个简单示例培养对PCA的直觉，并用线性代数概念进行形式化。
• 展示PCA如何通过去相关化数据并按方差对分量排序来减少冗余。
• 通过协方差矩阵的特征向量分解以及通过SVD推导PCA，以获得更广泛的数学视角。
• 提供一个实际应用PCA的方案，包括数据中心化和结果的解读。

提出的方法

• 将PCA视为对新的一组正交基的基变换。
• 定义数据矩阵X及其协方差CX = (1/n)XX^T；寻求PY，使得其无非对角项（对角线为CX_Y）。
• 推导出主成分是CX的特征向量，CY的对角线包含在这些方向上的方差。
• 给出等价的基于SVD的解：X = U Σ V^T，其中V包含主方向（CX的特征向量），Σ包含奇异值。
• 通过将Y = (1/√n) X^T 与 CX 与 YY^T 相联系，解释PCA与SVD的关系；将CX的特征向量与V的列相关。
• 提供实际计算的步骤：减去均值、计算CX、提取特征向量、解释方差。

实验结果

研究问题

• RQ1 将数据集X重新表达为一个能揭示其结构的基的最佳方式是什么？
• RQ2 构造一个在最小化冗余、最大化信号的好基P的标准是什么？
• RQ3 我们如何去相关化数据并按方差对新维度进行排序以进行降维？
• RQ4 PCA与奇异值分解（SVD）有何关系，以及这一关系的含义？
• RQ5 在何种假设下，PCA及其结果为现实世界数据提供有意义的洞见？

主要发现

• PCA寻求一个正交基，使协方差矩阵对角化，从而揭示最大方差的方向作为主成分。
• 主成分是协方差 CX = (1/n)XX^T 的特征向量，它们的方差是相应的特征值。
• PCA可以通过特征向量分解或通过SVD推导，其中 X = UΣV^T，主成分位于V中。
• 对数据进行中心化（减去均值）是PCA的前提条件，CY的对角化意味着分量之间的去相关。
• SVD为PCA提供了更一般的框架，将X的列空间和行空间与主方向及其方差联系起来。
• 本教程强调在选择基时的直觉、方差作为信号的代理，以及PCA背后的假设。