[论文解读] Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated

Namrata Vaswani, Han Guo|arXiv (Cornell University)|Aug 15, 2016

Spectroscopy and Chemometric Analyses被引用 8

一句话总结

本文提出Correlated-PCA，一种在数据与噪声相关时（现实应用中常见）进行主成分分析的新框架。它为在数据-噪声相关条件下标准特征值分解（EVD）建立了理论保证，表明样本复杂度按 $f^2 r^2 \log n$ 缩放，并提出cluster-EVD，一种广义EVD方法，可降低对条件数 $f$ 的依赖，从而在具有聚类特征值的高维设置中提升性能。

ABSTRACT

Given a matrix of observed data, Principal Components Analysis (PCA) computes a small number of orthogonal directions that contain most of its variability. Provably accurate solutions for PCA have been in use for a long time. However, to the best of our knowledge, all existing theoretical guarantees for it assume that the data and the corrupting noise are mutually independent, or at least uncorrelated. This is valid in practice often, but not always. In this paper, we study the PCA problem in the setting where the data and noise can be correlated. Such noise is often also referred to as "data-dependent noise". We obtain a correctness result for the standard eigenvalue decomposition (EVD) based solution to PCA under simple assumptions on the data-noise correlation. We also develop and analyze a generalization of EVD, cluster-EVD, that improves upon EVD in certain regimes.

研究动机与目标

• 为解决在真实世界数据中常见但先前研究被忽视的数据与噪声相关时PCA的理论保证缺失问题。
• 在数据-噪声相关条件下，建立标准EVD的样本复杂度边界，表明其对条件数 $f$ 和秩 $r$ 的依赖关系。
• 开发并分析cluster-EVD，一种广义EVD方法，可在特征值聚类假设下弱化对 $f^2$ 的依赖。
• 为动态系统中鲁棒PCA提供理论基础，特别是在ReProCS框架中，数据相关噪声自然出现。

提出的方法

• 提出一个模型：观测数据 $\bm{y}_t = \bm{\ell}_t + \bm{M}_t\bm{\ell}_t$，其中 $\bm{\ell}_t$ 位于低秩子空间中，$\bm{M}_t$ 用于建模数据相关噪声。
• 对投影系数 $\bm{a}_t$ 的有界性及噪声相关矩阵 $\bm{M}_t$ 的结构提出假设，包括 $\|\bm{M}_{1,t}\bm{P}\| \leq q < 1$ 和谱范数约束。
• 分析在观测数据的经验协方差矩阵上应用标准EVD，推导在噪声相关条件下的子空间误差边界。
• 提出cluster-EVD作为EVD的广义形式，将特征值分组为簇，并使用改进的分解方式以增强鲁棒性。
• 利用集中不等式和矩阵扰动理论（如Weyl不等式）来界定子空间误差并推导高概率保证。
• 采用递归误差分解框架，将误差分离为当前、已检测和未检测部分，以分析误差传播。

实验结果

研究问题

• RQ1 数据相关噪声如何影响标准EVD在PCA中的性能？在相关性条件下可建立何种理论保证？
• RQ2 当数据与噪声相关时，标准EVD用于PCA的样本复杂度是多少？其与条件数 $f$ 和秩 $r$ 的缩放关系如何？
• RQ3 广义EVD方法能否降低在相关PCA中对条件数 $f$ 的依赖？在何种结构假设下可提升性能？
• RQ4 在数据-噪声相关条件下，cluster-EVD方法与标准EVD在子空间误差和鲁棒性方面有何比较？
• RQ5 特征值聚类在提升相关噪声下PCA的理论与实际性能方面起何种作用？

主要发现

• 标准EVD在相关-PCA中的样本复杂度按 $f^2 r^2 \log n$ 缩放，表明对条件数 $f$ 存在问题性的二次依赖。
• 在特征值聚类假设下，cluster-EVD可降低对 $f$ 的依赖，弱化 $f^2$ 缩放，从而在高维设置中提升性能。
• 以高概率（$1 - 12n^{-10}$），估计基 $\hat{\bm{P}}$ 的子空间误差被限制在 $r\zeta$ 以内，其中 $\zeta$ 控制误差水平。
• 分析表明，子空间估计误差由噪声强度与数据结构的乘积决定，边界通过矩阵集中与扰动理论推导得出。
• 当特征值聚类时，cluster-EVD方法的误差边界优于标准EVD，尤其降低了对大条件数的敏感性。
• 理论边界通过递归误差分解得到验证，该方法将误差分离为当前、已检测和未检测部分，以控制误差传播。