[论文解读] Extendable Neural Matrix Completion

Duc Minh Nguyen, Evaggelia Tsiligianni+1 more|arXiv (Cornell University)|May 13, 2018

Image and Signal Denoising Methods参考文献 17被引用 4

一句话总结

本文提出了一种双分支深度神经网络模型——神经矩阵补全（Neural Matrix Completion, NMC），用于矩阵补全任务，可在无需微调或重新训练的情况下扩展至未见过的用户或物品。通过基于因子分解的架构结合卷积汇总层学习联合潜在表征，该模型在 ML-1M 和 Netflix 等基准数据集上实现了最先进（SOTA）的准确率与强健的可扩展性。

ABSTRACT

Matrix completion is one of the key problems in signal processing and machine learning, with applications ranging from image pro- cessing and data gathering to classification and recommender sys- tems. Recently, deep neural networks have been proposed as la- tent factor models for matrix completion and have achieved state- of-the-art performance. Nevertheless, a major problem with existing neural-network-based models is their limited capabilities to extend to samples unavailable at the training stage. In this paper, we propose a deep two-branch neural network model for matrix completion. The proposed model not only inherits the predictive power of neural net- works, but is also capable of extending to partially observed samples outside the training set, without the need of retraining or fine-tuning. Experimental studies on popular movie rating datasets prove the ef- fectiveness of our model compared to the state of the art, in terms of both accuracy and extendability.

研究动机与目标

• 解决现有神经矩阵补全模型在未重新训练的情况下无法泛化至新用户或物品的问题。
• 开发一种方法，在保持高预测准确率的同时，实现对先前未见样本的高效推理。
• 使矩阵补全方法能够应用于高维、现实世界的数据集，如具有极高稀疏性和大规模的 Netflix 数据集。
• 设计一种仅依赖显式反馈（观测到的评分）的模型，避免依赖隐式反馈或外部数据。
• 确保模型在不同矩阵维度和稀疏度水平下均具备可扩展性与有效性。

提出的方法

• 提出一种双分支深度神经网络，将行样本（如用户）和列样本（如物品）映射到共享的潜在空间。
• 基于矩阵因子分解原理，将用户-物品交互建模为潜在空间中的内积。
• 引入具有可学习滤波器和步长的卷积汇总层，以压缩输入表征，并提升对高维矩阵的可扩展性。
• 通过最小化重构误差的 Frobenius 范数，在训练集的观测条目上端到端训练模型。
• 通过冻结编码器分支并利用学习到的潜在表征，通过内积计算推断新样本的缺失值，从而实现可扩展性。
• 在 ML-1M 数据集上应用 Dropout 正则化（比例 0.6），以防止因训练样本有限而导致的过拟合。

实验结果

研究问题

• RQ1 基于深度神经网络的矩阵补全模型是否能在不重新训练或微调的情况下，泛化至训练过程中未见过的用户或物品？
• RQ2 与最先进方法相比，该模型在现实世界、高维数据集上的准确率与可扩展性表现如何？
• RQ3 卷积汇总层在处理如 Netflix 这类大规模矩阵时，对可扩展性与性能的提升程度如何？
• RQ4 当在训练样本中无重叠区域进行测试时，模型是否仍能保持强健的性能表现？
• RQ5 该模型是否仅使用显式反馈即可实现具有竞争力的性能，而无需依赖隐式用户交互？

主要发现

• NMC-S 模型在 ML-1M 数据集上达到最先进性能，在区域（II）和（III）中优于 I-Autorec 和 U-Autorec，且是唯一可扩展至区域（IV）的模型。
• 在 Netflix 数据集上，尽管在（I）和（III）区域并非最佳表现，NMC-S 在（II）和（IV）区域仍取得最佳性能，展现出强大的泛化与可扩展性。
• 该模型在所有评估区域均保持了具有竞争力的准确率，RMSE 和 MAE 值始终低于或接近最先进基线，尤其在未见数据场景下表现优异。
• 汇总层的使用有效支持了对高维矩阵（如 Netflix 数据集）的处理，其输入维度极为庞大。
• NMC-S 仅依赖显式反馈即实现优异性能，无需隐式反馈或外部信息，显著提升了在现实场景中的适用性。
• 该模型的可扩展性已通过实证验证：可通过利用学习到的潜在表征，在无需重新训练的情况下预测新用户或物品的缺失条目。