[论文解读] Collaborative Filtering Bandits

Shuai Li, Alexandros Karatzoglou+1 more|arXiv (Cornell University)|Feb 11, 2015

Advanced Bandit Algorithms Research参考文献 36被引用 3

一句话总结

本文提出 COFIBA，一种协同过滤上下文多臂赌博机算法，能够基于实时交互模式动态聚类用户和项目，从而在新闻和广告等高度动态环境中实现自适应、可扩展的推荐。通过利用基于稀疏图的聚类方法和在随机线性噪声下的后悔分析，该方法在后悔值和点击率方面均优于当前最先进的聚类赌博机方法。

ABSTRACT

Classical collaborative filtering, and content-based filtering methods try to learn a static recommendation model given training data. These approaches are far from ideal in highly dynamic recommendation domains such as news recommendation and computational advertisement, where the set of items and users is very fluid. In this work, we investigate an adaptive clustering technique for content recommendation based on exploration-exploitation strategies in contextual multi-armed bandit settings. Our algorithm takes into account the collaborative effects that arise due to the interaction of the users with the items, by dynamically grouping users based on the items under consideration and, at the same time, grouping items based on the similarity of the clusterings induced over the users. The resulting algorithm thus takes advantage of preference patterns in the data in a way akin to collaborative filtering methods. We provide an empirical analysis on medium-size real-world datasets, showing scalability and increased prediction performance (as measured by click-through rate) over state-of-the-art methods for clustering bandits. We also provide a regret analysis within a standard linear stochastic noise setting.

研究动机与目标

• 解决经典协同过滤与上下文赌博机在新闻和在线广告等高度动态推荐领域中的局限性。
• 通过利用动态聚类带来的协同效应，克服用户和项目推荐中的冷启动问题。
• 开发一种可扩展的在线算法，同时基于用户-项目交互数据对用户和项目进行自适应聚类。
• 在标准线性随机噪声设定下，为所提方法提供理论后悔分析。
• 在真实世界和基准数据集上，与现有聚类赌博机方法相比，展示出更优的预测性能和可扩展性。

提出的方法

• COFIBA 使用稀疏图表示来建模用户和项目之间的交互，避免了计算成本高昂的矩阵分解。
• 它交替地基于当前考虑的项目对用户进行聚类，并基于每个项目所引发的用户聚类相似性对项目进行聚类。
• 该算法在上下文多臂赌博机框架中采用探索-利用策略，随着新交互的出现动态更新聚类分配。
• 通过聚合特征向量（例如，$ar{oldsymbol{w}}_{N_{k},t}$）将信息从已有用户传播到新用户，从而提升冷启动性能。
• 通过分析预期奖励总和推导出后悔界，关键项为 $ extstyle ilde{igcirc}ig(ig( ext{E}[S(h)] + ext{variance term}ig)ig)ig( ext{sqrt}(dT/n)ig)$，其中 $S(h)$ 以归一化方式衡量聚类大小。
• 该方法设计为与任何标准聚类或共聚类技术兼容，重点在于计算效率和理论可处理性。

实验结果

研究问题

• RQ1 基于交互模式对用户和项目进行动态聚类，是否能提升在新闻和广告等高度动态环境中的推荐性能？
• RQ2 如何在不依赖批处理矩阵分解的前提下，将协同过滤效应有效整合进上下文赌博机框架？
• RQ3 一种基于相互偏好模式自适应聚类用户和项目的赌博机算法，其理论后悔性能如何？
• RQ4 与现有赌博机或协同过滤方法相比，该方法是否能更有效地处理冷启动问题？
• RQ5 与当前最先进的聚类赌博机方法相比，该算法在真实世界数据集上的实际可扩展性和性能表现如何？

主要发现

• 在中等规模的真实世界数据集上，COFIBA 的点击率显著高于当前最先进的聚类赌博机方法，证明了其更优的预测性能。
• 该算法表现出强大的可扩展性，适用于大规模、动态的推荐系统，如在线广告和新闻推荐。
• COFIBA 的后悔界为 $ ilde{igcirc}ig(ig( ext{E}[S(h)] + ext{variance term}ig)ig)ig( ext{sqrt}(dT/n)ig)$，与已知潜在聚类结构的算法性能相当。
• 该方法通过共享聚类成员关系，将已有用户的信息传播到新用户，有效缓解了冷启动问题。
• 实证结果表明，COFIBA 在动态环境中的准确性和适应性方面均优于现有方法。
• 该算法通过依赖稀疏图表示而非密集矩阵分解，保持了计算效率，从而支持实时部署。