[论文解读] Collective Matrix Completion

Mokhtar Z. Alaya, Olga Klopp|arXiv (Cornell University)|Jul 24, 2018

Random Matrices and Applications被引用 8

一句话总结

本文提出了一种针对多种异质矩阵（例如连续型、二值型、计数型数据）的集体矩阵补全框架，通过最小化拟合优度与核范数惩罚之和实现。在指数族分布和一般噪声模型下，该方法建立了快速收敛速率，实现了在多样化数据源上的鲁棒低秩估计，并具备理论保证。

ABSTRACT

Matrix completion aims to reconstruct a data matrix based on observations of a small number of its entries. Usually in matrix completion a single matrix is considered, which can be, for example, a rating matrix in recommendation system. However, in practical situations, data is often obtained from multiple sources which results in a collection of matrices rather than a single one. In this work, we consider the problem of collective matrix completion with multiple and heterogeneous matrices, which can be count, binary, continuous, etc. We first investigate the setting where, for each source, the matrix entries are sampled from an exponential family distribution. Then, we relax the assumption of exponential family distribution for the noise and we investigate the distribution-free case. In this setting, we do not assume any specific model for the observations. The estimation procedures are based on minimizing the sum of a goodness-of-fit term and the nuclear norm penalization of the whole collective matrix. We prove that the proposed estimators achieve fast rates of convergence under the two considered settings and we corroborate our results with numerical experiments.

研究动机与目标

• 解决来自不同来源（例如评分、评论、传感器数据）的多个异质矩阵之间的集体矩阵补全问题。
• 构建一个统一的估计框架，联合建模多个共享共同低秩结构的矩阵。
• 在指数族分布和非参数噪声假设下，建立理论收敛速率。
• 通过利用相关来源的辅助数据，在冷启动场景中实现更优的预测性能。
• 将现有矩阵补全方法从单矩阵设置推广至多源、多类型数据场景。

提出的方法

• 将集体矩阵补全建模为一个核范数正则化优化问题，目标是最小化所有矩阵的损失项之和以及低秩惩罚项。
• 在第一种设定中，基于指数族分布使用广义损失函数，以实现逐元素的似然估计。
• 在第二种设定中放宽了指数族假设，允许任意噪声模型且无需参数化假设。
• 通过核范数最小化实施凸松弛，以确保优化的可处理性并实现低秩恢复。
• 采用次高斯尾部分析和集中不等式，推导估计误差的高概率界。
• 利用随机矩阵理论和次高斯随机变量性质的工具，推导理论收敛速率。

实验结果

研究问题

• RQ1 统一框架是否能在参数化（指数族）和非参数化（一般噪声）模型下均实现快速收敛速率？
• RQ2 与独立矩阵补全相比，跨多个异质矩阵的联合估计在预测精度方面有何提升？
• RQ3 当矩阵来自不同分布时，低秩恢复的理论保证是什么？
• RQ4 跨矩阵共享的低秩结构在多大程度上可缓解推荐系统中的冷启动问题？
• RQ5 矩阵元素的次高斯尾部特性如何影响集体估计器的收敛速率？

主要发现

• 在指数族假设下，所提出的集体矩阵补全估计器实现了快速收敛速率，误差界按 $ O(\sqrt{\rho \gamma / n}) $ 刻画，其中 $ \rho $ 为矩阵秩，$ n $ 为观测条目数。
• 在非参数噪声模型下，估计器仍能实现快速收敛速率，表明其在不假设特定参数分布下的鲁棒性。
• 理论分析证实，通过利用共享的低秩结构，跨多个矩阵的联合估计可显著提升估计精度。
• 矩阵元素的次高斯尾部特性得到严格刻画，从而为推导收敛速率提供了关键的集中不等式。
• 数值实验验证了理论发现，在合成数据集和真实世界数据集上，其性能优于单矩阵基线方法。
• 核范数惩罚能有效促进低秩结构，从而在高维且不完整数据下实现稳定恢复。