[论文解读] Memory-efficient Kernel PCA via Partial Matrix Sampling and Nonconvex Optimization: a Model-free Analysis of Local Minima

Chen Ji, Xiaodong Li|arXiv (Cornell University)|Nov 6, 2017

Sparse and Compressive Sensing Techniques参考文献 42被引用 8

一句话总结

该论文提出了一种基于部分矩阵采样和非凸优化的内存高效核主成分分析（Kernel PCA）方法，无需对核矩阵结构做假设即可实现低秩逼近。该工作建立了无需模型假设的理论，表明目标函数的任意局部最小值均可提供有效的低秩逼近，优于先前在结构化设置下的非凸矩阵补全结果。

ABSTRACT

Kernel PCA is a widely used nonlinear dimension reduction technique in machine learning, but storing the kernel matrix is notoriously challenging when the sample size is large. Inspired by Yi et al. [2016], where the idea of partial matrix sampling followed by nonconvex optimization is proposed for matrix completion and robust PCA, we apply a similar approach to memory-efficient Kernel PCA. In theory, with no assumptions on the kernel matrix in terms of eigenvalues or eigenvectors, we established a model-free theory for the low-rank approximation based on any local minimum of the proposed objective function. As interesting byproducts, when the underlying positive semidefinite matrix is assumed to be low-rank and highly structured, corollaries of our main theorem improve the state-of-the-art results of Ge et al. [2016, 2017] for nonconvex matrix completion with no spurious local minima. Numerical experiments also show that our approach is competitive in terms of approximation accuracy compared to the well-known Nystr\{o}m algorithm for Kernel PCA.

研究动机与目标

• 为解决在高维数据集中因存储大型核矩阵而引起的内存瓶颈问题。
• 开发一种可扩展的传统核主成分分析替代方法，通过部分采样避免存储完整的核矩阵。
• 为使用非凸目标函数的局部最小值进行低秩逼近提供理论保证，且无需对特征值结构做假设。
• 在低秩、高度结构化的设置下，优于当前最先进的非凸矩阵补全结果。
• 在数值实验中，与Nyström方法相比展现出具有竞争力的逼近精度。

提出的方法

• 将Yi等人（2016）提出的部分矩阵采样与非凸优化框架适配至核主成分分析。
• 基于核矩阵的采样条目，构建关于低秩因子的非凸优化问题。
• 采用基于因子分解的目标函数，以低秩结构逼近核矩阵。
• 在不假设特定特征值或特征向量性质的前提下，分析目标函数局部最小值的行为。
• 利用理论工具，为任意局部最小值建立无需模型假设的收敛保证。
• 通过推论表明，在结构化低秩设置下，结果优于Ge等人（2016, 2017）的非凸矩阵补全工作。

实验结果

研究问题

• RQ1 部分矩阵采样与非凸优化相结合，是否可在不存储完整核矩阵的前提下实现内存高效的核主成分分析？
• RQ2 在使用非凸目标函数的局部最小值时，可为低秩逼近提供哪些理论保证？
• RQ3 与现有方法（如Nyström算法）相比，所提方法在逼近精度方面表现如何？
• RQ4 在何种条件下，该方法优于先前的非凸矩阵补全技术？
• RQ5 对局部最小值的无需模型分析是否可推广至结构化低秩核矩阵？

主要发现

• 在数值实验中，所提方法与著名的Nyström算法相比，展现出具有竞争力的逼近精度。
• 无需模型的理论保证了非凸目标函数的任意局部最小值均可提供有效的低秩逼近，且不受核矩阵特征值结构的影响。
• 在结构化低秩设置下，该方法优于Ge等人（2016, 2017）在非凸矩阵补全方面的最先进结果。
• 该理论框架无需对核矩阵的特征值或特征向量做任何假设，增强了通用性。
• 通过部分采样避免完整核矩阵存储，该方法有效降低了内存使用。
• 分析表明，在所提目标函数下，低秩逼近的局部最小值并非虚假解。