[论文解读] A Survey on Practical Applications of Multi-Armed and Contextual Bandits

Djallel Bouneffouf, Irina Rish|arXiv (Cornell University)|Apr 2, 2019

Advanced Bandit Algorithms Research参考文献 20被引用 106

一句话总结

本综述回顾多臂赌博机和情境赌博在医疗保健、金融、定价、推荐系统等领域的实际应用，并讨论赌博方法如何为现实世界的决策制定和机器学习工作流提供指导。

ABSTRACT

In recent years, multi-armed bandit (MAB) framework has attracted a lot of attention in various applications, from recommender systems and information retrieval to healthcare and finance, due to its stellar performance combined with certain attractive properties, such as learning from less feedback. The multi-armed bandit field is currently flourishing, as novel problem settings and algorithms motivated by various practical applications are being introduced, building on top of the classical bandit problem. This article aims to provide a comprehensive review of top recent developments in multiple real-life applications of the multi-armed bandit. Specifically, we introduce a taxonomy of common MAB-based applications and summarize state-of-art for each of those domains. Furthermore, we identify important current trends and provide new perspectives pertaining to the future of this exciting and fast-growing field.

研究动机与目标

• 在各领域提供现实世界的 MAB 和情境赌博应用的分类体系。
• 总结各领域使用的最先进算法及其优点。
• 识别趋势、差距和待解决的问题，为未来的 bandit 方法研究提供指导。

提出的方法

• 描述标准的 MAB 和情境赌博框架及其与现实世界情境的相关性。
• 回顾领域特定的应用及所使用的相应赌博形式（MAB 与 CMAB，平稳 vs 非平稳）。
• 突出值得关注的算法和建模方法（如 LINUCB、CTS、Thompson Sampling、带有侧信息的赌博）。
• 讨论赌博如何增强机器学习工作流，包括超参数调优、特征选择、主动学习和强化学习编排。

实验结果

研究问题

• RQ1 在现实世界中，MAB 和 CMAB 已在哪些主要领域得到有效应用？
• RQ2 在各领域中，哪些赌博形式和算法最为成功？
• RQ3 已识别的差距与未来 bandit 研究及跨领域迁移的机会是什么？
• RQ4 怎样通过 bandit 方法增强更广泛的机器学习任务，如超参数优化和主动学习？

主要发现

• 面向实践的 MAB 和 CMAB 应用的广泛分类涵盖医疗保健、金融、动态定价、推荐系统、影响力最大化、信息检索、对话系统、异常检测和电信。
• 在多个领域使用了情境赌博和非平稳变体，具体选择如 LINUCB、CTS 和 Thompson Sampling 指导决策。
• 赌博在有限反馈和探索需求的在线决策中提供优势，推动实时自适应实验和学习。
• 跨领域迁移或多任务赌博方面的研究有限，提示在赌博设置中进行终身学习和迁移学习的机会。
• 赌博可以增强机器学习管道，包括算法选择、超参数优化（如 Hyperband）、特征选择、主动学习、聚类和在线 RL 编排。