[论文解读] Collaborative Recurrent Autoencoder: Recommend while Learning to Fill in the Blanks

Hao Wang, Xingjian Shi+1 more|arXiv (Cornell University)|Nov 2, 2016

Recommender Systems and Techniques参考文献 22被引用 79

一句话总结

该论文提出了一种新型混合推荐模型——协作循环自编码器（CRAE），该模型在协同过滤框架下，通过去噪循环自编码器联合学习生成有序内容序列（如文章标题、电影剧情）和预测用户评分。CRAE 同时建模序列依赖关系与用户-物品交互，显著提升了在 CiteULike 和 Netflix 数据集上的推荐与序列生成性能，优于当前最先进方法。

ABSTRACT

Hybrid methods that utilize both content and rating information are commonly used in many recommender systems. However, most of them use either handcrafted features or the bag-of-words representation as a surrogate for the content information but they are neither effective nor natural enough. To address this problem, we develop a collaborative recurrent autoencoder (CRAE) which is a denoising recurrent autoencoder (DRAE) that models the generation of content sequences in the collaborative filtering (CF) setting. The model generalizes recent advances in recurrent deep learning from i.i.d. input to non-i.i.d. (CF-based) input and provides a new denoising scheme along with a novel learnable pooling scheme for the recurrent autoencoder. To do this, we first develop a hierarchical Bayesian model for the DRAE and then generalize it to the CF setting. The synergy between denoising and CF enables CRAE to make accurate recommendations while learning to fill in the blanks in sequences. Experiments on real-world datasets from different domains (CiteULike and Netflix) show that, by jointly modeling the order-aware generation of sequences for the content information and performing CF for the ratings, CRAE is able to significantly outperform the state of the art on both the recommendation task based on ratings and the sequence generation task based on content information.

研究动机与目标

• 解决现有混合推荐系统在内容建模中使用词袋或固定卷积核 CNN 所带来的局限，这些方法忽略了词序与局部上下文信息。
• 通过将去噪自编码器推广至非独立同分布的协同过滤数据，弥合循环神经网络（RNN）与协同过滤（CF）之间的差距。
• 开发一种稳健的端到端模型，联合优化序列生成与评分预测，实现精准推荐与流畅内容生成。
• 提出一种新型可学习池化机制与分布感知去噪机制，提升模型泛化能力与鲁棒性。

提出的方法

• CRAE 采用分层贝叶斯生成模型，将去噪循环自编码器（DRAE）与协同过滤相结合，实现内容序列与用户-物品评分的联合学习。
• 提出一种新颖的去噪方案：在非线性激活前向隐藏状态注入噪声，并将非线性函数应用于概率分布而非确定性值，从而增强模型鲁棒性。
• 通过可微池化操作，利用可学习池化机制将变长序列转换为固定长度表示，聚合时间步上的隐藏状态。
• 采用基于 Sigmoid 的近似方法，计算噪声高斯分布隐藏状态的期望值，实现对随机计算图的高效反向传播。
• 编码器使用门控 RNN（如 GRU 类单元）处理词序列，以捕捉序列依赖关系；解码器则重建原始序列。
• 协同过滤组件通过低秩矩阵分解建模用户-物品交互，并通过联合损失函数将序列生成目标与之整合。

实验结果

研究问题

• RQ1 能否有效将循环自编码器适配至协同过滤设置，以联合建模用户-物品评分与内容序列生成？
• RQ2 通过 RNN 建模内容序列中的词序与局部上下文，是否能带来优于词袋或固定卷积核 CNN 的推荐性能？
• RQ3 对随机隐藏状态应用去噪方案，是否能提升混合推荐系统的泛化能力与鲁棒性？
• RQ4 与两阶段或独立训练方法相比，联合学习序列生成与评分预测有何优势？
• RQ5 所提出的可学习池化与分布感知非线性机制，是否能在性能与训练效率上超越现有深度生成模型？

主要发现

• CRAE 在推荐与序列生成任务上均显著优于最先进模型，在 CiteULike 与 Netflix 数据集上均取得更高的 Recall@M。
• 在 CiteULike 数据集上，CRAE 在 M=5 时达到 Recall@M=0.421，较次优方法提升超过 5%，展现出强大的推荐性能。
• 在 Netflix 数据集上，CRAE 在 M=5 时达到 Recall@M=0.389，即使在大规模、稀疏评分数据上也表现出一致的性能增益。
• 消融实验验证了联合学习的重要性：当模型被迫采用两步训练范式（λv ≪ 1 或 λv ≫ 1）时，性能显著下降，证实了序列建模与 CF 之间的协同效应。
• 所提出的分布感知非线性机制相比 CDL 中的逐层方法，展现出更稳定高效的训练过程，表现为更快收敛与更好泛化能力。
• 该模型对评分稀疏性具有鲁棒性，在评分稀疏时仍能保持高性能，而确定性模型则出现显著性能下降。