[论文解读] Matrix reconstruction with the local max norm

Rina Foygel, Nathan Srebro+1 more|arXiv (Cornell University)|Oct 18, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用 9

一句话总结

本文引入了局部最大范数（local max norm），这是一种新的矩阵范数族，它推广了迹范数、最大范数及其加权/平滑变体。通过利用行和列的边缘分布，在迹范数与最大范数之间进行插值，局部最大范数在模拟数据和真实世界数据集（如Netflix和MovieLens）上的矩阵重建精度得到提升，并且在学习性能方面具有理论保证。

ABSTRACT

We introduce a new family of matrix norms, the "local max" norms, generalizing existing methods such as the max norm, the trace norm (nuclear norm), and the weighted or smoothed weighted trace norms, which have been extensively used in the literature as regularizers for matrix reconstruction problems. We show that this new family can be used to interpolate between the (weighted or unweighted) trace norm and the more conservative max norm. We test this interpolation on simulated data and on the large-scale Netflix and MovieLens ratings data, and find improved accuracy relative to the existing matrix norms. We also provide theoretical results showing learning guarantees for some of the new norms.

研究动机与目标

• 开发一个统一的矩阵范数族，推广现有的正则化方法（如迹范数和最大范数）用于矩阵重建。
• 通过引入更鲁棒的正则化方法，解决迹范数在非均匀采样下的局限性。
• 利用局部行和列边缘分布，在保守性较强的最大小范数与保守性较弱的迹范数之间实现灵活插值。
• 为新范数提供理论学习保证，并设计可扩展的优化方法。

提出的方法

• 提出局部最大范数作为最大小范数的推广，基于因子分解形式化定义，引入行和列的边缘分布。
• 通过半定规划（SDP）表示法定义该范数，即在约束条件下最小化行和列范数惩罚的组合。
• 利用平滑的边缘分布引入加权迹范数的平滑版本，以在非均匀采样下提升泛化能力。
• 通过半定规划推导该范数的对偶形式，实现高效优化。
• 利用Cholesky分解和矩阵Schur补，将基于因子分解的范数与SDP表示联系起来。
• 将该范数应用于矩阵重建，通过最小化带有新范数作为正则项的正则化损失函数。

实验结果

研究问题

• RQ1 能否构建一个统一的矩阵范数族，使其在迹范数与最大小范数之间实现插值？
• RQ2 在非均匀采样条件下，局部最大范数是否相比现有范数能提升矩阵重建精度？
• RQ3 新范数是否能在非均匀采样设置下提供理论学习保证？
• RQ4 局部最大范数在大规模协同过滤数据集（如Netflix和MovieLens）上的实际表现如何？

主要发现

• 在模拟数据上，局部最大范数的重建精度优于迹范数、最大小范数及其加权变体。
• 在Netflix和MovieLens数据集上，局部最大范数优于现有范数，展现出在大规模矩阵补全任务中的优越实证性能。
• 为局部最大范数建立了理论学习保证，证明其在非均匀采样分布下的鲁棒性。
• 该范数被证明是最大范数和平滑加权迹范数的严格推广，在插值过程中严格位于二者之间。
• 局部最大范数的SDP形式化使得大规模高效优化成为可能，使其在实际应用中具备可行性。