[论文解读] Collaborative Autoencoder for Recommender Systems

Qibing Li, Xiaolin Zheng+1 more|arXiv (Cornell University)|Dec 25, 2017

Recommender Systems and Techniques参考文献 33被引用 4

一句话总结

本文提出神经协同自编码器（NCAE），一种将非线性矩阵分解与协同过滤相结合的深度学习框架，用于建模复杂的用户-物品交互。通过采用三阶段预训练策略、误差重加权和数据增强，NCAE 在显式和隐式反馈数据集上均优于最先进方法，展现出更优的推荐准确性和对过拟合的鲁棒性。

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing works. First, most works perform deep content feature learning and resort to matrix factorization, which cannot effectively model the highly complex user-item interaction function. Second, due to the difficulty on training deep neural networks, existing models utilize a shallow architecture, and thus limit the expressive potential of deep learning. Third, neural network models are easy to overfit on the implicit setting, because negative interactions are not taken into account. To tackle these issues, we present a generic recommender framework called Neural Collaborative Autoencoder (NCAE) to perform collaborative filtering, which works well for both explicit feedback and implicit feedback. NCAE can effectively capture the relationship between interactions via a non-linear matrix factorization process. To optimize the deep architecture of NCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, to prevent overfitting on the implicit setting, we propose an error reweighting module and a sparsity-aware data-augmentation strategy. Extensive experiments on three real-world datasets demonstrate that NCAE can significantly advance the state-of-the-art.

研究动机与目标

• 为解决现有深度学习模型在推荐系统中对复杂用户-物品交互建模能力不足的问题，特别是对复杂交互关系的建模能力有限。
• 通过构建更深、更具表达能力的模型，克服深度神经网络中的浅层结构问题，以提升协同过滤的性能。
• 在未显式建模负样本的隐式反馈设置中，减少过拟合问题。
• 开发一个统一框架，使其在显式和隐式反馈数据上均表现良好。
• 通过监督与无监督预训练相结合，以及稀疏感知数据增强，提升模型泛化能力。

提出的方法

• NCAE 采用非线性矩阵分解过程，通过深度神经网络建模用户-物品交互，捕捉复杂的交互模式。
• 三阶段预训练机制结合用户和物品特征的监督学习与无监督自编码器训练，以有效初始化深层权重。
• 误差重加权模块调整损失梯度，降低易样本的权重，使学习更聚焦于困难负样本，从而在隐式反馈中减少过拟合。
• 稀疏感知数据增强策略基于数据分布生成合成负样本，以提升低密度交互场景下的泛化能力。
• 通过反向传播联合优化模型，用户和物品共享嵌入层，以支持端到端学习。
• 通过相应调整损失函数和采样策略，该架构支持显式和隐式反馈。

实验结果

研究问题

• RQ1 深度神经网络架构能否有效建模协同过滤中的复杂非线性用户-物品交互？
• RQ2 如何有效预训练深度学习模型，以避免不良初始化和梯度消失问题？
• RQ3 在负样本未显式标注的隐式反馈设置中，可采用哪些策略缓解过拟合？
• RQ4 统一框架是否能在显式和隐式反馈场景中均实现优异性能？
• RQ5 将非线性矩阵分解与自编码器结合，如何提升推荐准确率？

主要发现

• NCAE 在三个真实世界数据集上达到最先进性能，显著优于现有深度学习和矩阵分解模型。
• 三阶段预训练机制通过提供更优初始权重，提升了收敛速度和最终模型准确率。
• 误差重加权模块通过聚焦于困难负样本，减少了在隐式反馈中的过拟合。
• 稀疏感知数据增强策略显著提升了模型泛化能力，尤其在低密度交互场景中表现突出。
• NCAE 在显式和隐式反馈设置中均展现出一致的性能提升，证明了其鲁棒性。
• 非线性矩阵分解组件相比线性或浅层替代方案，能更好地建模复杂交互模式。