[论文解读] Improved Algorithm on Online Clustering of Bandits

Shuai Li, Wei Chen+2 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 6

一句话总结

本文提出SCLUB，一种新颖的在线聚类上下文 bandit 算法，通过使用具有分裂与合并操作的动态集合型聚类表示，自适应地识别在非均匀用户频率分布下的用户聚类。通过避免依赖最小用户频率 $p_{\text{min}}$，该方法实现了不包含 $1/p_{\text{min}}$ 项的后悔界，并在合成数据集和真实数据集（MovieLens、Yelp）上的实验表明，相较于现有方法（如 CLUB），其性能持续提升 5.94% 至 16.24%。

ABSTRACT

We generalize the setting of online clustering of bandits by allowing non-uniform distribution over user frequencies. A more efficient algorithm is proposed with simple set structures to represent clusters. We prove a regret bound for the new algorithm which is free of the minimal frequency over users. The experiments on both synthetic and real datasets consistently show the advantage of the new algorithm over existing methods.

研究动机与目标

• 为解决现有在线聚类 bandit 算法假设用户频率分布均匀所带来的局限性，该假设在具有长尾用户活跃度的现实系统中会降低性能。
• 克服基于图的聚类表示中的低效问题，即当不相似的用户被连接时聚类仍保持连通，导致收敛缓慢。
• 设计一种更具自适应性与效率的聚类机制，采用基于集合的聚类表示，并结合动态分裂与合并操作。
• 推导出一个不依赖最小用户频率 $p_{\text{min}}$ 的理论后悔界，这是先前工作中一个关键的局限性。
• 在非均匀频率设置下，通过在合成数据与真实数据集（MovieLens、Yelp）上的实证验证，证明该算法的优越性。

提出的方法

• 该算法将每个聚类表示为用户集合的简单形式，以直接的集合成员关系替代复杂的图结构，从而提升效率与清晰度。
• 引入一种分裂操作：若发现某用户与聚类内成员不相似，则将其从当前聚类中移除，从而实现对错误分组的快速检测。
• 增加一种合并操作，以缓解分裂操作可能导致的过度分裂问题，确保聚类的稳定性和一致性。
• 采用基于置信区间边界的选策略，在保持聚类完整性的前提下平衡探索与利用。
• 理论分析表明，其后悔界不包含 $1/p_{\text{min}}$ 项，相较于先前算法实现重大改进。
• 用户特征向量通过评分矩阵上的 SVD 提取，算法在线性 bandit 框架中学习用户特定的权重向量。

实验结果

研究问题

• RQ1 在线聚类 bandit 算法能否在非均匀用户频率分布下（尤其是长尾用户活跃度）具备鲁棒性？
• RQ2 用动态集合结构替代基于图的聚类表示，是否能提升识别用户聚类的收敛速度与准确性？
• RQ3 分裂与合并操作的结合能否带来优于现有基于图方法的后悔性能？
• RQ4 能否推导出一个不依赖最小用户频率 $p_{\text{min}}$ 的后悔界？
• RQ5 在用户活跃度稀疏且分布倾斜的真实推荐系统中，该算法表现如何？

主要发现

• 在用户频率分布均匀的设定下，SCLUB 相较基线 CLUB 算法在后悔上提升 5.94%，表明其在理想化场景下也具备更强的效率。
• 在非均匀聚类级别频率分布下，SCLUB 实现了 13.02% 的后悔性能提升，展现出对频率失衡的鲁棒性。
• 在最贴近现实的任意用户级别频率分布设定下，SCLUB 相较 CLUB 减少 14.69% 的后悔，凸显其自适应能力。
• 在 MovieLens 数据集上，SCLUB 在任意频率分布下相较 CLUB 实现 14.84% 的后悔性能提升，证实其在真实场景中的强大表现。
• 在更稀疏的 Yelp 数据集上，SCLUB 相较 CLUB 实现 16.24% 的性能提升，表明其在低数据场景下依然有效。
• 该算法的后悔界被证明与 $p_{\text{min}}$ 无关，解决了先前方法中一个关键的理论局限性。