[论文解读] Advancing Matrix Completion by Modeling Extra Structures beyond Low-Rankness

Guangcan Liu, Ping Li|arXiv (Cornell University)|Apr 17, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 4

一句话总结

本文提出低秩因子分解（LRFD），一种矩阵补全方法，通过预定义字典引入结构化稀疏性，增强传统低秩恢复方法。通过将数据建模为字典原子的线性组合，LRFD降低了对非均匀数据分布中高一致性的敏感性，即使在传统核范数最小化失败时也能实现精确恢复。

ABSTRACT

A well-known method for completing low-rank matrices based on convex optimization has been established by Cand{è}s and Recht. Although theoretically complete, the method may not entirely solve the low-rank matrix completion problem. This is because the method captures only the low-rankness property which gives merely a rough constraint that the data points locate on some low-dimensional subspace, but generally ignores the extra structures which specify in more detail how the data points locate on the subspace. Whenever the geometric distribution of the data points is not uniform, the coherence parameters of data might be large and, accordingly, the method might fail even if the latent matrix we want to recover is fairly low-rank. To better handle non-uniform data, in this paper we propose a method termed Low-Rank Factor Decomposition (LRFD), which imposes an additional restriction that the data points must be represented as linear combinations of the bases in a dictionary constructed or learnt in advance. We show that LRFD can well handle non-uniform data, provided that the dictionary is configured properly: We mathematically prove that if the dictionary itself is low-rank then LRFD is immune to the coherence parameters which might be large on non-uniform data. This provides an elementary principle for learning the dictionary in LRFD and, naturally, leads to a practical algorithm for advancing matrix completion. Extensive experiments on randomly generated matrices and motion datasets show encouraging results.

研究动机与目标

• 解决核范数最小化在数据呈现非均匀分布时于低秩矩阵补全中的局限性。
• 克服标准凸优化（CONO）在高一致性参数下因非均匀数据分布而失效的问题。
• 开发一种利用字典编码数据几何先验知识的结构化矩阵补全框架。
• 建立理论条件，证明即使在高一致性下，只要字典为低秩，即可实现精确恢复。
• 提供一种实用的矩阵补全算法，在具有复杂几何结构的真实世界数据上优于标准方法。

提出的方法

• 提出低秩因子分解（LRFD），一种凸优化模型，强制数据点表示为给定字典中原子的线性组合。
• 将优化问题表述为在观测条目上保持数据一致性的前提下，最小化因子矩阵的核范数。
• 提出一个关键理论条件：若字典为低秩，则LRFD对数据中的高一致性具有鲁棒性。
• 利用正交投影和谱分析证明LRFD问题的最优解唯一，并能恢复真实的低秩矩阵。
• 利用字典的结构约束解空间，降低非均匀数据分布对恢复性能的影响。
• 通过谱范数和投影算子推导重建误差的界，表明误差随采样率提高和字典结构有利而减小。

实验结果

研究问题

• RQ1 能否通过在非均匀数据分布中建模低秩性之外的几何结构来改进矩阵补全？
• RQ2 在标准核范数最小化失败时，使用结构化字典在何种条件下可实现精确恢复？
• RQ3 字典的低秩性质如何影响矩阵补全对数据中高一致性的鲁棒性？
• RQ4 结合字典因子分解的凸优化框架能否实现优于标准核范数最小化的恢复性能？
• RQ5 在所提出的LRFD框架中，解的唯一性和精确恢复可提供哪些理论保证？

主要发现

• 当字典为低秩时，LRFD即使在数据一致性强的情况下也能实现精确矩阵恢复。
• 理论分析证明，在未观测索引集与字典行空间的交集为平凡集的条件下，LRFD问题的最优解唯一。
• LRFD的重建误差被界于 $ \frac{2\epsilon}{\delta} $ 之内，其中 $ \epsilon $ 为噪声水平，$ \delta $ 为与采样率相关的谱参数。
• 在合成数据和运动数据集上的实验结果表明，LRFD在非均匀数据上显著优于标准核范数最小化，尤其当数据位于多个子空间或流形上时。
• 由于字典中编码了结构化先验，该方法对高一致性具有鲁棒性，而高一致性是标准矩阵补全的主要失败情形。
• 理论界证实，当采样率满足 $ \rho_0 \geq 2\delta $ 时，精确恢复以高概率成立，其中 $ \delta $ 控制投影算子的谱衰减。