[论文解读] Linear Dimensionality Reduction: Survey, Insights, and Generalizations

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|Jun 3, 2014

Face and Expression Recognition参考文献 123被引用 382

一句话总结

本文在矩阵流形优化的统一框架下，将多种线性降维方法——如PCA、LDA、CCA和SFA——统一起来，揭示了当这些经典方法被表述为特征向量问题时，其解往往次优。本文提出了一种通用的、目标无关的线性降维求解器，可推广现有技术，并支持新型变体（如正交投影CCA）。

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational properties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the connections between all these methods have not been highlighted. Here we survey methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimensional scaling, Fisher's linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, sufficient dimensionality reduction, undercomplete independent component analysis, linear regression, distance metric learning, and more. This optimization framework gives insight to some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This simple optimization framework further allows straightforward generalizations and novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, this survey and generic solver suggest that linear dimensionality reduction can move toward becoming a blackbox, objective-agnostic numerical technology.

研究动机与目标

• 将统计学、机器学习和信号处理中的广泛线性降维方法统一到单一优化框架下。
• 揭示并分析基于特征向量的解法在PCA和CCA等知名方法中的次优性，这些方法常被视为最优。
• 证明贪婪的、顺序的维度选择方式（如先选第一主成分，再在残差上选第二成分）在性能上存在固有限制。
• 基于矩阵流形上的优化，开发一种通用的、目标无关的线性降维求解器。
• 通过所提框架实现经典方法的自然推广与新型变体。

提出的方法

• 将线性降维形式化为在矩阵流形上的优化问题，具体为正交矩阵的Stiefel流形和子空间的Grassmann流形。
• 将每种方法（如PCA、LDA、CCA）表示为在Stiefel流形上需最大化或最小化的特定目标函数。
• 采用带回归的投影梯度下降法，确保迭代点始终位于流形上，利用奇异值分解实现高效回归。
• 采用两阶段梯度更新：首先将自由梯度投影到切空间，然后将更新步长回缩到流形上。
• 将标准优化技术（如线搜索和共轭梯度）适配到流形设置中，为非凸问题提供收敛性保证。
• 通过框架推导出一种新型变体：正交投影典型相关分析（orthogonal-projection CCA）。

实验结果

研究问题

• RQ1 为何当被表述为特征向量问题时，许多经典线性降维方法（如PCA和CCA）是次优的？
• RQ2 贪婪的、顺序选择分量的方式（如先选第一主成分，再在残差上选第二成分）在多大程度上限制了线性降维的性能？
• RQ3 能否通过矩阵流形上的统一优化框架，推广并改进现有的线性降维技术？
• RQ4 如何利用矩阵流形的几何结构（如Stiefel流形、Grassmann流形）设计更鲁棒、更灵活的求解器？
• RQ5 使用该框架能推导出哪些经典方法的新型变体？它们与标准方法相比表现如何？

主要发现

• 当通过特征向量分解求解时，许多广泛使用的线性降维方法（包括PCA和CCA）实际上是次优的，这与普遍假设相反。
• 在残差上贪婪地顺序优化各分量的方法无法捕捉全局最优解，框架显示联合优化所有分量可获得更优结果。
• 在矩阵流形上的优化提供了一个统一的、几何上合理的框架，可涵盖并推广现有方法，包括PCA、LDA、CCA、SFA和ICA。
• 所提出的通用求解器基于带回归的投影梯度下降，收敛稳定，且在实践中优于一步投影方法。
• 该框架可推导出新型变体（如正交投影CCA），其保持正交性约束，提升了解释性。
• 理论收敛性通过标准优化工具（如Armijo线搜索）建立，已证明投影梯度法在非凸流形上的全局收敛性。