[论文解读] Algebraic Variety Models for High-Rank Matrix Completion

Greg Ongie, Rebecca Willett+2 more|arXiv (Cornell University)|Mar 28, 2017

Tensor decomposition and applications被引用 32

一句话总结

该论文提出了一种新颖的矩阵补全框架，将高秩数据建模为代数簇，通过多项式特征提升实现低秩表示。通过使用核技巧的凸或非凸优化方法，该方法在真实世界高秩数据集（包括动作捕捉和子空间聚类任务）上实现了最先进性能，优于标准的低秩矩阵补全和子空间聚类技术。

ABSTRACT

We consider a generalization of low-rank matrix completion to the case where the data belongs to an algebraic variety, i.e. each data point is a solution to a system of polynomial equations. In this case the original matrix is possibly high-rank, but it becomes low-rank after mapping each column to a higher dimensional space of monomial features. Many well-studied extensions of linear models, including affine subspaces and their union, can be described by a variety model. In addition, varieties can be used to model a richer class of nonlinear quadratic and higher degree curves and surfaces. We study the sampling requirements for matrix completion under a variety model with a focus on a union of affine subspaces. We also propose an efficient matrix completion algorithm that minimizes a convex or non-convex surrogate of the rank of the matrix of monomial features. Our algorithm uses the well-known "kernel trick" to avoid working directly with the high-dimensional monomial matrix. We show the proposed algorithm is able to recover synthetically generated data up to the predicted sampling complexity bounds. The proposed algorithm also outperforms standard low rank matrix completion and subspace clustering techniques in experiments with real data.

研究动机与目标

• 通过将数据建模为位于代数簇上来将低秩矩阵补全推广至高秩数据。
• 表征当数据位于仿射子空间的并集或其他代数簇上时，矩阵补全所需的采样复杂度。
• 开发一种高效的矩阵补全算法，利用提升后的单项式特征空间中的低秩结构，而无需显式计算高维特征。
• 证明所提出方法在真实世界高秩数据集上优于标准的低秩矩阵补全和子空间聚类技术。
• 为在代数簇模型下恢复所需样本数提供理论边界，特别是针对子空间的并集。

提出的方法

• 该方法将每个数据点映射到次数不超过 $ d $ 的单项式高维空间，将原始高秩矩阵转换为若数据位于代数簇上则为低秩的提升矩阵 $ ext{rank}( ext{rank}(m{ ilde{X}})) $。
• 将矩阵补全问题表述为在观测条目约束下最小化提升矩阵 $ ext{rank}(m{ ilde{X}}) $ 的秩，使用凸或非凸的秩最小化替代函数。
• 采用迭代重加权最小二乘法（IRLS）求解优化问题，通过核技巧避免显式计算高维单项式特征。
• 使用多项式核应用核技巧，隐式计算提升空间中的内积，实现在无需显式特征映射的情况下高效计算。
• 通过合成数据和真实世界数据集（包括Hopkins 155动作数据集和CMU Mocap动作捕捉数据）对方法进行评估。
• 性能与标准低秩矩阵补全（LRMC）、非凸低秩优化（LRMC-NCVX）以及带或不带插补的子空间聚类（SSC）进行比较。

实验结果

研究问题

• RQ1 当列位于代数簇（特别是仿射子空间的并集）上时，恢复矩阵所需的采样复杂度是多少？
• RQ2 提升矩阵 $ ext{rank}(m{ ilde{X}}) $ 的秩如何与单项式特征的次数 $ d $ 及底层代数簇结构相关？
• RQ3 凸或非凸优化框架能否有效恢复在提升多项式特征空间中为低秩的高秩矩阵？
• RQ4 在恢复精度和对缺失数据的鲁棒性方面，所提出方法与标准低秩矩阵补全和子空间聚类技术相比如何？
• RQ5 多项式次数 $ d $ 对完成性能有何影响，特别是在不同缺失数据率下？

主要发现

• 所提出的VMC算法在合成数据上的恢复效果达到预测的采样复杂度边界，验证了理论分析。
• 对于 $ k $ 个维度为 $ r $ 的仿射子空间的并集，当每个子空间有 $ O(r^d) $ 列时，该方法每列仅需 $ O(rk^{1/d}) $ 次测量，表明在中等 $ d $ 情况下显著降低了采样需求。
• 当 $ d = \text{log}~k $ 时，该方法每列仅需 $ O(r) $ 次测量，即使在高维设置下也能实现高效恢复。
• 在Hopkins 155数据集上，VMC+SSC在低缺失率下达到与LRMC+SSC相似或更低的聚类误差，且在高缺失率下显著优于SSC-EWZF。
• 在CMU Mocap数据集上，使用 $ d=2 $ 和 $ d=3 $ 的VMC优于LRMC和LRMC-NCVX，且在高缺失率下 $ d=2 $ 的误差更低。
• 基于IRLS的多项式核算法在真实世界高秩数据集上实现了最先进性能，展现出鲁棒性和可扩展性。