[论文解读] Deep density networks and uncertainty in recommender systems

Yoel Zeldes, Stavros Theodorakis+4 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Bandit Algorithms Research参考文献 17被引用 8

一句话总结

本文提出深度密度网络（DDN），一种混合深度神经网络，通过在推荐系统中建模测量、数据和模型不确定性，实现多臂老虎机设置下的乐观探索。通过将测量噪声与数据不确定性分离，并使用具有高斯分量的混合密度网络，DDN 提升了在线推荐性能，在真实部署中实现了 2.9% 的 RPM 提升和 11.7% 更高的目标吞吐量，优于基线模型。

ABSTRACT

Building robust online content recommendation systems requires learning complex interactions between user preferences and content features. The field has evolved rapidly in recent years from traditional multi-arm bandit and collaborative filtering techniques, with new methods employing Deep Learning models to capture non-linearities. Despite progress, the dynamic nature of online recommendations still poses great challenges, such as finding the delicate balance between exploration and exploitation. In this paper we show how uncertainty estimations can be incorporated by employing them in an optimistic exploitation/exploration strategy for more efficient exploration of new recommendations. We provide a novel hybrid deep neural network model, Deep Density Networks (DDN), which integrates content-based deep learning models with a collaborative scheme that is able to robustly model and estimate uncertainty. Finally, we present online and offline results after incorporating DNN into a real world content recommendation system that serves billions of recommendations per day, and show the benefit of using DDN in practice.

研究动机与目标

• 通过建模用户-物品交互中的不确定性，解决内容推荐系统中的冷启动问题。
• 通过将不确定性估计整合到乐观利用/探索策略中，提升在线推荐系统的探索效率。
• 开发一种统一的深度学习模型，显式分离并建模三种类型的不确定性：测量、数据和模型不确定性。
• 在大规模、真实世界的内容推荐系统中（日均数十亿次推荐），验证不确定性感知建模的有效性。
• 证明将测量噪声与数据不确定性分离，可提升模型在噪声训练数据上的泛化能力和鲁棒性。

提出的方法

• 提出深度密度网络（DDN），一种混合深度神经网络，通过协同融合机制将基于内容的表征与协同过滤相结合。
• 使用具有高斯分量的混合密度网络（MDN）建模不确定性，其中输出分布捕捉预测不确定性。
• 显式使用高斯分布建模测量噪声，并将其从数据不确定性中解耦，以提升在噪声数据上的鲁棒性。
• 引入一种混合损失函数，在训练过程中通过分离测量噪声与数据不确定性，降低噪声标签的影响。
• 采用基于不确定性估计的乐观探索策略，优先选择不确定性更高的动作，以提升长期奖励。
• 使用蒙特卡洛 dropout 进行近似贝叶斯推断，以估计模型不确定性，实现在无需完整贝叶斯推断的前提下实现不确定性感知预测。

实验结果

研究问题

• RQ1 显式建模测量、数据和模型不确定性是否能提升大规模在线系统中的推荐性能？
• RQ2 将测量噪声与数据不确定性分离，对模型在噪声训练数据上的泛化能力和鲁棒性有何影响？
• RQ3 在多臂老虎机设置下，不确定性估计能在多大程度上提升内容推荐中的探索效率？
• RQ4 在使用基于不确定性的选择策略时，即时奖励（RPM）与长期探索（新目标和广告商的吞吐量）之间的权衡如何？
• RQ5 具有不确定性估计的混合 DNN 模型是否在真实部署中优于标准深度学习模型和混合密度模型？

主要发现

• DDN 相较于基线模型 REG 实现了 2.9% 的在线 RPM 提升，而 REG 是一个高度优化且具有竞争力的最先进模型。
• DDN 在在线 RPM 上相比 MDN 基线模型提升了 1.7%，证明了显式建模测量噪声的优势。
• 在噪声数据集（D1）上，DDN 相较于 MDN 在 MSE 上提升了 5.3%，验证了其对噪声标签的鲁棒性。
• 当增加探索参数 $a$ 时，目标吞吐量提升了 11.7%，广告商吞吐量提升了 5.1%，仅导致 RPM 下降 0.05%。
• 在高显著性数据集（D2）上，MSE 提升了 2.7%，表明在不同数据质量水平下均保持一致的性能增益。
• 基于不确定性估计的乐观探索策略使目标吞吐量提升了 6.5%，广告商吞吐量提升了 2.1%，证实了新内容和广告商发现能力的提升。