[论文解读] Multi-facet Contextual Bandits: A Neural Network Perspective

Yikun Ban, Jingrui He+1 more|arXiv (Cornell University)|Jun 6, 2021

Advanced Bandit Algorithms Research参考文献 44被引用 4

一句话总结

本文提出 MuFasa，一种基于神经网络的多 facet 上下文 bandit 算法，通过联合建模多个 bandit 的奖励函数以最大化最终复合奖励。通过利用置信上界进行探索，并采用共享神经网络捕捉 bandit 之间的依赖关系，MuFasa 实现了近似最优的遗憾界 $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$，并在真实世界数据集上优于强基线模型，即使在部分子奖励不可用的情况下亦表现优异。

ABSTRACT

Contextual multi-armed bandit has shown to be an effective tool in recommender systems. In this paper, we study a novel problem of multi-facet bandits involving a group of bandits, each characterizing the users' needs from one unique aspect. In each round, for the given user, we need to select one arm from each bandit, such that the combination of all arms maximizes the final reward. This problem can find immediate applications in E-commerce, healthcare, etc. To address this problem, we propose a novel algorithm, named MuFasa, which utilizes an assembled neural network to jointly learn the underlying reward functions of multiple bandits. It estimates an Upper Confidence Bound (UCB) linked with the expected reward to balance between exploitation and exploration. Under mild assumptions, we provide the regret analysis of MuFasa. It can achieve the near-optimal $\widetilde{ \mathcal{O}}((K+1)\sqrt{T})$ regret bound where $K$ is the number of bandits and $T$ is the number of played rounds. Furthermore, we conduct extensive experiments to show that MuFasa outperforms strong baselines on real-world data sets.

研究动机与目标

• 为解决个性化推荐与医疗决策制定中用户需求跨越多个相互依赖 facet 的挑战。
• 建模一种新型的多 facet 上下文 bandit 设置，其中每个 facet 对应一个独立 bandit，最终奖励是所有子奖励的函数。
• 开发一种联合学习框架，捕捉多个 bandit 之间的依赖关系，同时平衡探索与利用。
• 在非线性奖励函数和部分子奖励不可用的情况下，实现近似最优的遗憾界。
• 在不同奖励可用性条件下，于真实世界数据集上展示鲁棒的性能表现。

提出的方法

• MuFasa 使用共享神经网络 $\mathcal{F}$，从子奖励和最终复合奖励中联合估计 $K$ 个 bandit 的奖励函数。
• 采用置信上界（UCB）策略，结合神经网络提供的不确定性估计，以平衡探索与利用。
• 该算法将最终奖励建模为 $K$ 个子奖励的函数 $H$，从而能够学习 bandit 结果之间复杂且可能非线性的关系。
• MuFasa 通过依赖最终奖励信号，并在子奖励可用时利用其增强单个 bandit 的特征学习能力，实现对部分子奖励不可用情况的处理。
• 遗憾分析假设了温和条件，如奖励函数的利普希茨连续性和有界特征空间，从而得出 $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$ 的遗憾界。
• 该方法通过随机梯度下降进行端到端训练，损失函数基于预测与观测到的最终奖励之间的差异。

实验结果

研究问题

• RQ1 基于神经网络的方法能否在多 facet 推荐设置中有效学习并平衡多个相互依赖的 bandit 问题？
• RQ2 通过共享神经网络联合建模多个 bandit 是否能带来优于独立 bandit 学习的遗憾性能？
• RQ3 当仅能获得最终复合奖励而无法访问个体子奖励时，该算法表现如何？
• RQ4 MuFasa 在非线性奖励函数和复杂真实世界数据分布下的泛化能力如何？
• RQ5 在温和假设下，所提方法的理论遗憾界是什么？

主要发现

• MuFasa 实现了近似最优的遗憾界 $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$，在理论上接近上下文 bandit 的下界。
• 在 Mnist+NotMnist 数据集上，与 NeuUCB 相比，MuFasa 在 $H_1$ 最终奖励函数下将遗憾降低了 17.8%，在 $H_2$ 下降低了 20%。
• 即使仅有一个子奖励可用，MuFasa（One sub-reward）在 Yelp 数据集上仍优于所有基线模型，包括 NeuUCB。
• 在无任何子奖励的情况下，MuFasa（No sub-reward）在 Yelp 数据集上仍保持低于最佳基线的遗憾，且在 Mnist+NotMnist 上表现具有竞争力。
• 神经网络架构使 MuFasa 能够学习 bandit 之间的相对重要性——例如，当 bandit 1 对最终奖励贡献更大时优先关注它——从而实现更优的决策。
• 实验表明，MuFasa 的联合建模能力使其优于将每个 bandit 独立处理的方法，尤其在奖励函数不对称或非线性的情况下表现更优。