[论文解读] Matrix Coherence and the Nystrom Method

Ameet Talwalkar, Afshin Rostamizadeh|arXiv (Cornell University)|Apr 12, 2010

Sparse and Compressive Sensing Techniques参考文献 15被引用 12

一句话总结

本文在理论和实证层面建立了矩阵一致性（coherence）与低秩矩阵近似中Nyström方法性能之间的联系。通过利用一致性这一指标——衡量矩阵的奇异向量相对于标准基向量的集中程度——该文推导出Nyström方法在低秩设置下的新型基于一致性的误差界，并通过实验验证了较低的一致性与更好的近似精度之间存在强烈相关性，尤其在满秩情形下表现显著。

ABSTRACT

The Nystrom method is an efficient technique used to speed up large-scale learning applications by generating low-rank approximations. Crucial to the performance of this technique is the assumption that a matrix can be well approximated by working exclusively with a subset of its columns. In this work we relate this assumption to the concept of matrix coherence, connecting coherence to the performance of the Nystrom method. Making use of related work in the compressed sensing and the matrix completion literature, we derive novel coherence-based bounds for the Nystrom method in the low-rank setting. We then present empirical results that corroborate these theoretical bounds. Finally, we present more general empirical results for the full-rank setting that convincingly demonstrate the ability of matrix coherence to measure the degree to which information can be extracted from a subset of columns.

研究动机与目标

• 正式建立矩阵一致性与Nyström方法在从列子集提取准确低秩近似方面有效性的关系。
• 解决先前理论界存在的局限性，即依赖于基于对角线元素的非均匀采样，而这类方法在实际应用中不切实际。
• 提供一个理论基础坚实、依赖数据的度量——矩阵一致性——以预测Nyström方法何时会成功或失败。
• 通过实证验证，一致性与多种真实世界及合成数据集（包括满秩矩阵）的近似质量之间存在相关性。
• 为未来研究提供动力，包括高效的一致性估计方法以及将误差界推广至满秩设置。

提出的方法

• 将矩阵一致性定义为标准基向量与矩阵主奇异向量之间最大平方内积，量化这些向量的分散或集中程度。
• 在低秩和低一致性假设下，基于压缩感知和矩阵补全技术，推导出Nyström方法近似误差的新型理论界。
• 利用基于一致性的误差界分析Nyström方法的性能，表明不一致矩阵（低一致性）允许更优的列采样以实现高精度近似。
• 在真实世界数据集（如MNIST、Abalone）和具有受控特征值衰减与一致性的合成矩阵上，实证评估一致性。
• 对数据集进行子采样实验，研究一致性随矩阵规模的变化，表明不一致矩阵的一致性增长缓慢（O(√log n)），而病态情形则不然。
• 通过受控的合成实验，改变特征值衰减率和一致性水平，以隔离各因素对Nyström近似误差的影响。

实验结果

研究问题

• RQ1 在低秩设置下，矩阵一致性如何影响Nyström方法近似的准确性？
• RQ2 一致性是否可作为Nyström方法在多样化真实世界数据集上性能的可靠预测指标？
• RQ3 矩阵的一致性在子采样过程中如何演变？这对Nyström方法的可扩展性有何影响？
• RQ4 在不考虑低秩结构的前提下，矩阵一致性在多大程度上决定了能否从少量列中重建矩阵？
• RQ5 基于一致性的理论界能否推广至满秩矩阵？与实证结果相比表现如何？

主要发现

• 实证结果表明，Nyström方法在低一致性矩阵上表现显著更优，如在MNIST数据集和合成正交随机模型中所示。
• Abalone数据集表现出高一致性，且随矩阵规模迅速增长，这解释了其在Nyström近似中表现较差的原因。
• 对于具有受控特征值衰减的合成矩阵，当前k个主奇异值捕获了更高比例的谱能量时，Nyström方法能实现更好的近似精度。
• 在合成实验中，即使在保持低秩结构不变的情况下，较低的一致性也始终导致更低的Nyström近似误差，证实了一致性是性能的关键预测因子。
• 不一致矩阵的一致性随矩阵规模增长缓慢（O(√log n)），与理论预期一致，支持Nyström方法在这些矩阵上的鲁棒性。
• 实证结果表明，矩阵一致性有效捕捉了从少量列中提取信息的程度，即使在满秩设置下也成立。