[论文解读] Graph Clustering Bandits for Recommendation

Shuai Li, Claudio Gentile+1 more|arXiv (Cornell University)|May 2, 2016

Advanced Bandit Algorithms Research参考文献 12被引用 11

一句话总结

本文提出 GCLUB，一种图聚类Bandit算法，在多臂Bandit设置中根据用户行为相似性动态分组用户，实现对项目和用户聚类的联合探索。通过结合上下文Bandit与自适应聚类，该方法显著提升了推荐性能，尤其在低活跃度用户中表现突出，在LastFM、Delicious、MovieLens和Yahoo News四个真实世界数据集上均优于最先进方法。

ABSTRACT

We investigate an efficient context-dependent clustering technique for recommender systems based on exploration-exploitation strategies through multi-armed bandits over multiple users. Our algorithm dynamically groups users based on their observed behavioral similarity during a sequence of logged activities. In doing so, the algorithm reacts to the currently served user by shaping clusters around him/her but, at the same time, it explores the generation of clusters over users which are not currently engaged. We motivate the effectiveness of this clustering policy, and provide an extensive empirical analysis on real-world datasets, showing scalability and improved prediction performance over state-of-the-art methods for sequential clustering of users in multi-armed bandit scenarios.

研究动机与目标

• 为解决推荐系统中用户行为稀疏的问题，即大多数用户缺乏或仅有极少的历史交互数据。
• 通过基于行为相似性的用户动态聚类，引入协同效应，以提升推荐性能。
• 在标准上下文Bandit的基础上，增加对用户聚类分配的探索，而不仅限于项目级别的探索，尤其针对不活跃或新用户。
• 评估在用户行为不平衡情形下，对项目与聚类进行联合探索的有效性。

提出的方法

• 该算法将用户建模为图中的节点，边表示基于历史项目选择行为相似性的关系。
• 采用随机探索机制，根据观察到的用户行为实时动态形成并重新配置用户聚类。
• 系统采用上下文Bandit框架，每个用户的项目推荐由聚类级别的偏好模式决定，并对聚类分配进行探索。
• 为每个聚类维护独立模型，并使用UCB风格的探索策略，以平衡对新聚类和已知聚类行为的探索。
• 该方法整合用户和项目特征，使用线性模型预测每个聚类内项目推荐的收益（如点击率）。
• 通过在训练数据上进行网格搜索进行超参数调优，使用累积遗憾和点击率（CTR）指标在测试集上评估性能。

实验结果

研究问题

• RQ1 基于行为相似性的用户动态聚类是否能在多臂Bandit设置中提升推荐性能？
• RQ2 在标准项目级探索之外，增加对用户聚类分配的探索，是否能带来可测量的预测准确率提升？
• RQ3 在用户行为高度不平衡的真实世界场景中，所提出方法的表现如何？
• RQ4 在累积遗憾和CTR方面，GCLUB在何种场景下优于LinUCB-ONE、LinUCB-IND和CLUB？

主要发现

• GCLUB在所有四个真实世界数据集（LastFM、Delicious、MovieLens和Yahoo News）上均优于所有基线方法，包括CLUB、LinUCB-ONE和LinUCB-IND。
• 在LastFM、Delicious和MovieLens数据集上，GCLUB的累积遗憾与随机基线（RAN）的比值更低，表明其在遗憾最小化方面表现更优。
• 在Yahoo数据集上，仅能获取日志反馈，GCLUB的点击率（CTR）相对于RAN的比值高于所有竞争方法，证明其在真实世界场景中的性能提升。
• 在用户活跃度严重不平衡的场景中，性能提升最为显著，GCLUB通过动态聚类探索有效处理了低活跃度和新用户。
• 尽管CLUB表现良好，但在所有数据集中均被GCLUB超越，尤其在长期表现中更为明显，表明对聚类的联合探索可提升稳定性和准确性。
• 结果表明，通过聚类实现协同过滤，并在聚类层面进行Bandit探索，能显著且一致地提升推荐质量。