[论文解读] An eigenanalysis of data centering in machine learning

Paul Honeiné|arXiv (Cornell University)|Jul 10, 2014

Face and Expression Recognition参考文献 64被引用 12

一句话总结

本文对基于核的机器学习中的中心化与非中心化数据进行了特征值分析，推导了在中心化条件下核 Gram 矩阵的特征值与特征向量之间的数学关系。研究建立了特征值与特征向量的交错性质及界限，弥合了传统主成分分析（中心化）与非中心化方法（如核熵分量分析）之间的理论空白。

ABSTRACT

Many pattern recognition methods rely on statistical information from centered data, with the eigenanalysis of an empirical central moment, such as the covariance matrix in principal component analysis (PCA), as well as partial least squares regression, canonical-correlation analysis and Fisher discriminant analysis. Recently, many researchers advocate working on non-centered data. This is the case for instance with the singular value decomposition approach, with the (kernel) entropy component analysis, with the information-theoretic learning framework, and even with nonnegative matrix factorization. Moreover, one can also consider a non-centered PCA by using the second-order non-central moment. The main purpose of this paper is to bridge the gap between these two viewpoints in designing machine learning methods. To provide a study at the cornerstone of kernel-based machines, we conduct an eigenanalysis of the inner product matrices from centered and non-centered data. We derive several results connecting their eigenvalues and their eigenvectors. Furthermore, we explore the outer product matrices, by providing several results connecting the largest eigenvectors of the covariance matrix and its non-centered counterpart. These results lay the groundwork to several extensions beyond conventional centering, with the weighted mean shift, the rank-one update, and the multidimensional scaling. Experiments conducted on simulated and real data illustrate the relevance of this work.

研究动机与目标

• 弥合基于核的机器学习中中心化与非中心化数据在理论与实践之间的鸿沟。
• 分析中心化如何影响主成分分析及相关方法中所用 Gram 矩阵的特征结构。
• 为中心化与非中心化内积矩阵的特征值与特征向量之间提供数学基础。
• 将分析扩展至标准中心化之外的场景，如加权均值偏移、秩一更新及多维尺度变换。
• 支持在中心化会丢弃有意义信息的应用中使用非中心化方法，例如在非负数据或密度估计中。

提出的方法

• 利用矩阵扰动理论，推导了中心化 Gram 矩阵 $\mathbf{K}_c$ 与非中心化 $\mathbf{K}$ 之间的特征值交错性质。
• 基于数据均值 $\boldsymbol{\mu}$，建立了 $\mathbf{K}_c$ 的特征值相对于 $\mathbf{K}$ 的特征值的界限。
• 分析了 $\mathbf{K}_c$ 与 $\mathbf{K}$ 的最大特征向量之间的关系，表明 $\mathbf{K}_c$ 的最大特征向量在方差捕获方面占主导地位。
• 通过谱分解与奇异值分解（SVD）建立非中心化与中心化 Gram 矩阵形式之间的联系。
• 将结果应用于加权中心化、秩一更新及多维尺度变换等扩展场景，通过修改矩阵的特征分解实现。
• 在模拟数据与真实数据集（如鸢尾花、香蕉形数据）上进行数值实验，以验证理论发现。

实验结果

研究问题

• RQ1 中心化 Gram 矩阵 $\mathbf{K}_c$ 的特征值与非中心化 $\mathbf{K}$ 的特征值之间如何交错？
• RQ2 $\mathbf{K}_c$ 与 $\mathbf{K}$ 的最大特征向量之间存在何种关系，特别是在方差捕获方面的表现？
• RQ3 中心化如何影响核方法中特征值与特征向量的分布？
• RQ4 能否基于 $\mathbf{K}$ 与数据均值 $\boldsymbol{\mu}$ 推导出 $\mathbf{K}_c$ 特征值的理论界限？
• RQ5 在非负或偏态数据中，非中心化方法相较于中心化方法在信息保留或损失方面表现如何？

主要发现

• 中心化 Gram 矩阵 $\mathbf{K}_c$ 与非中心化 $\mathbf{K}$ 的特征值满足交错性质：对 $i=2,\dots,n$，有 $\lambda_{\mathrm{c},i} \leq \lambda_i \leq \lambda_{\mathrm{c},i-1}$，且 $\lambda_{\mathrm{c},1} \geq \lambda_1$。
• 在鸢尾花数据集（$n=150$）中，$\mathbf{K}_c$ 的前 $t$ 个特征值的累积和超过非中心化对应值 $d_i'$，且在 $t=n$ 时相等。
• 在香蕉形数据集中，$\mathbf{K}_c$ 的特征值与 $\mathbf{K}$ 的特征值交错，例如 $10.17 \leq 15.18 \leq 15.23 \leq 26.73 \leq 31.33 \leq 47.61 \leq 47.62 \leq 84.51$。
• $\mathbf{K}_c$ 的最大特征向量捕获的方差超过 $\mathbf{K}$ 的任意特征向量，且 $\max_i d_i' \leq \lambda_{\mathrm{c},1}$，其中 $d_i'$ 为来自 $\mathbf{K}$ 的调整后特征值。
• $\mathbf{K}_c$ 与 $\mathbf{K}$ 的特征向量通过涉及数据均值 $\boldsymbol{\mu}$ 及特征向量在全1向量上的投影的变换相关联。
• 实验表明，非中心化 PCA 在非负数据中可保留甚至增强特征表示，例如在高光谱解混或基因表达分析中。