[论文解读] Clustered Bandits

Loc Bui, Ramesh Johari+1 more|arXiv (Cornell University)|Jun 19, 2012

Advanced Bandit Algorithms Research参考文献 9被引用 6

一句话总结

本文提出了一种用于电子商务应用的聚类 bandit 框架，其中用户属于少数潜在类型，每种类型对动作（臂）的响应各不相同。通过结合探索-利用策略与用户聚类，作者设计了算法，相较于标准 bandit 方法，显著提升了决策效率，在用户类型可识别且稀疏时，实现了显著的遗憾减少。

ABSTRACT

We consider a multi-armed bandit setting that is inspired by real-world applications in e-commerce. In our setting, there are a few types of users, each with a specific response to the different arms. When a user enters the system, his type is unknown to the decision maker. The decision maker can either treat each user separately ignoring the previously observed users, or can attempt to take advantage of knowing that only few types exist and cluster the users according to their response to the arms. We devise algorithms that combine the usual exploration-exploitation tradeoff with clustering of users and demonstrate the value of clustering. In the process of developing algorithms for the clustered setting, we propose and analyze simple algorithms for the setup where a decision maker knows that a user belongs to one of few types, but does not know which one.

研究动机与目标

• 解决在用户类型未知但数量有限的情况下，电子商务中个性化决策的挑战。
• 开发利用用户聚类以提升标准 bandit 方法遗憾性能的算法。
• 在聚类设置下，对探索（学习用户类型）与利用（为每类选择最优臂）之间的权衡进行建模。
• 分析在部分类型知识条件下 bandit 算法的性能，即决策者知道用户属于少数类型之一，但不确定具体是哪一种。

提出的方法

• 提出一种分层 bandit 框架，根据用户对臂的响应模式将用户分组为聚类。
• 设计算法，在聚类内探索臂的奖励与利用反馈优化聚类分配之间交替进行。
• 引入一种聚类感知的探索策略，平衡聚类间与聚类内的学习。
• 采用混合模型方法估计用户类型概率，并根据观测响应将用户分配至聚类。
• 采用具有聚类特定置信区间（confidence bounds）的 UCB 风格算法，在类型不确定性存在时减少遗憾。
• 在用户类型数量较少的假设下，分析理论遗憾界，表明其收敛性优于标准 bandit 方法。

实验结果

研究问题

• RQ1 在用户类型未知的多臂 bandit 问题中，用户聚类如何改善遗憾性能？
• RQ2 在聚类 bandit 设置下，探索新臂与优化聚类分配之间的最优权衡是什么？
• RQ3 对用户类型的部分知识（即知道用户属于少数类型之一）如何影响学习效率？
• RQ4 与独立处理每个用户相比，聚类能否减少所需的探索动作数量？
• RQ5 在具有有限用户类型的聚类 bandit 模型中，可实现的理论遗憾界是什么？

主要发现

• 当用户类型稀疏且可识别时，所提出的聚类 bandit 算法在遗憾性能上优于标准 bandit 方法。
• 聚类通过利用同一类型用户之间的共享响应模式，加速了向最优动作的收敛。
• 结合聚类层级探索与类型感知臂选择的算法，在部分类型知识条件下表现出更优性能。
• 理论分析证实，遗憾随时间呈次线性增长，且其依赖于聚类数量而非个体用户数。
• 实验结果表明，聚类显著减少了次优动作的数量，尤其在用户多样性高但潜在类型较少的场景中。