[论文解读] Deep Collaborative Autoencoder for Recommender Systems: A Unified Framework for Explicit and Implicit Feedback.

Qibing Li, Xiaolin Zheng|arXiv (Cornell University)|Dec 25, 2017

Recommender Systems and Techniques参考文献 45被引用 8

一句话总结

本文提出深度协作自编码器（DCAE），一种统一的深度学习框架，用于推荐系统，通过非线性表征学习联合建模显式与隐式反馈。通过整合三阶段预训练、基于流行度的误差重加权以及稀疏性感知的数据增强，DCAE 在三个真实世界数据集上实现了最先进性能，显著提升了推荐准确率，同时缓解了隐式设置下的过拟合问题。

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing works. First, most works perform deep content feature learning and resort to matrix factorization, which cannot effectively model the highly complex user-item interaction function. Second, due to the difficulty on training deep neural networks, existing models utilize a shallow architecture, and thus limit the expressiveness potential of deep learning. Third, neural network models are easy to overfit on the implicit setting, because negative interactions are not taken into account. To tackle these issues, we present a novel recommender framework called Deep Collaborative Autoencoder (DCAE) for both explicit feedback and implicit feedback, which can effectively capture the relationship between interactions via its non-linear expressiveness. To optimize the deep architecture of DCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, we propose a popularity-based error reweighting module and a sparsity-aware data-augmentation strategy for DCAE to prevent overfitting on the implicit setting. Extensive experiments on three real-world datasets demonstrate that DCAE can significantly advance the state-of-the-art.

研究动机与目标

• 解决现有深度学习模型因依赖矩阵分解而在捕捉复杂用户-物品交互函数方面的局限性。
• 克服当前推荐模型中因浅层结构导致的深度神经网络表达能力瓶颈。
• 缓解在未显式建模负样本交互的隐式反馈设置下的过拟合问题。
• 构建一个统一框架，在单一深度学习架构中有效处理显式与隐式反馈。

提出的方法

• 提出一种深度协作自编码器（DCAE）架构，通过堆叠自编码器学习非线性用户与物品表征。
• 实施一种三阶段预训练策略，结合显式反馈上的监督学习、无监督特征学习以及联合优化的微调。
• 引入一种基于流行度的误差重加权模块，对流行物品的损失进行降权，以减少隐式反馈中的过拟合。
• 应用一种稀疏性感知的数据增强技术，人工增加负样本的多样性，以提升泛化能力。
• 利用用户编码器与物品编码器的协同过滤信号，在联合嵌入空间中重建用户-物品交互。
• 使用自适应学习率与正则化进行端到端模型优化，以增强收敛性与鲁棒性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效建模推荐系统中的显式与隐式反馈？
• RQ2 三阶段预训练在协同过滤中如何提升深度自编码器的表征质量与收敛性？
• RQ3 基于流行度的误差重加权在隐式反馈场景中在多大程度上减少过拟合？
• RQ4 稀疏性感知的数据增强如何提升稀疏用户-物品交互矩阵上的模型泛化能力？
• RQ5 所提出的 DCAE 框架是否在真实世界推荐基准上优于现有最先进模型？

主要发现

• DCAE 在三个真实世界数据集上显著优于现有最先进模型，展现出更优越的推荐准确率。
• 三阶段预训练机制通过利用显式与无监督信号，有效提升了模型收敛性与表征质量。
• 基于流行度的误差重加权在隐式反馈设置中有效减少了对流行物品的过拟合，提升了泛化能力。
• 稀疏性感知的数据增强增加了负样本的多样性，从而带来更稳健与稳定的训练动态。
• 统一的 DCAE 框架成功处理了显式与隐式反馈，无需单独的模型头或架构。
• 实证结果表明，多个评估指标上均取得一致改进，证实了所提组件在单独与组合使用时的有效性。