[论文解读] Learning Latent Features with Pairwise Penalties in Matrix Completion.

Kaiyi Ji, Jian Tan+2 more|arXiv (Cornell University)|Feb 16, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用 3

一句话总结

本文提出了一种用于矩阵补全的一般优化框架，采用非凸成对惩罚项以改进潜在特征学习，克服了传统基于L2的图正则化方法的局限性。该方法在预测精度方面表现更优，并提供了理论上的收敛性和统计误差界，在合成数据和真实世界数据实验中均优于标准的迹范数正则化方法。

ABSTRACT

Low-rank matrix completion (MC) has achieved great success in many real-world data applications. A latent feature model formulation is usually employed and, to improve prediction performance, the similarities between latent variables can be exploited by pairwise learning, e.g., the graph regularized matrix factorization (GRMF) method. However, existing GRMF approaches often use a squared L2 norm to measure the pairwise difference, which may be overly influenced by dissimilar pairs and lead to inferior prediction. To fully empower pairwise learning for matrix completion, we propose a general optimization framework that allows a rich class of (non-)convex pairwise penalty functions. A new and efficient algorithm is further developed to uniformly solve the optimization problem, with a theoretical convergence guarantee. In an important situation where the latent variables form a small number of subgroups, its statistical guarantee is also fully characterized. In particular, we theoretically characterize the complexity-regularized maximum likelihood estimator, as a special case of our framework. It has a better error bound when compared to the standard trace-norm regularized matrix completion. We conduct extensive experiments on both synthetic and real datasets to demonstrate the superior performance of this general framework.

研究动机与目标

• 解决现有图正则化矩阵分解（GRMF）方法依赖平方L2范数所带来的局限性，此类方法对不相似样本对敏感，导致性能下降。
• 开发一种通用的优化框架，支持丰富类别的（非）凸成对惩罚函数，以实现更鲁棒的潜在特征学习。
• 提供一个理论基础坚实、高效的算法，具备收敛性保证，用于求解所提出的优化问题。
• 在潜在变量形成少量子群的情况下，为该框架建立统计误差界。
• 在合成数据和真实世界数据集上，与标准迹范数正则化矩阵补全方法相比，展示出更优的实验性能。

提出的方法

• 提出一种通用优化框架，用灵活的（非）凸成对惩罚函数替代标准的L2成对惩罚，以更好地建模潜在变量之间的相似性。
• 基于交替方向乘子法（ADMM）开发一种高效算法，用于求解非凸优化问题，并提供理论收敛性保证。
• 将复杂度正则化的最大似然估计器作为该框架的特例，从而支持统计误差分析。
• 将潜在特征建模为形成少量子群，以实现对估计器性能的更精细理论刻画。
• 采用统一的算法方法，可处理各种成对惩罚函数，包括非凸情形，而无需进行特定问题的推导。
• 采用基于Schur补的重构方法，以在ADMM框架内实现高效计算。

实验结果

研究问题

• RQ1 是否可以通过采用灵活成对惩罚的通用框架，使矩阵补全性能超越标准的L2正则化方法？
• RQ2 与迹范数正则化矩阵补全相比，所提方法在预测误差方面表现如何？
• RQ3 在非凸成对惩罚下，所提算法的理论收敛行为如何？
• RQ4 当潜在特征形成少量子群时，该框架是否能提供更紧致的统计误差界？
• RQ5 该方法能否有效利用潜在变量中的子群结构，以提升预测精度？

主要发现

• 所提框架在合成数据和真实世界数据集上的预测性能均优于标准迹范数正则化矩阵补全方法。
• 当潜在变量形成少量子群时，该框架提供的统计误差界优于标准迹范数正则化方法。
• 该算法即使在非凸成对惩罚下，也能收敛至驻点，并具备理论收敛性保证。
• 作为特例的复杂度正则化最大似然估计器，其误差界优于标准迹范数正则化方法。
• 实验结果表明，在多个真实世界数据集上，预测精度持续提升，尤其在成对相似性结构良好时表现更优。
• 采用非凸成对惩罚可降低不相似样本对的影响，从而实现更鲁棒的潜在特征估计。