[论文解读] A Multiworld Testing Decision Service.

Alekh Agarwal, Sarah Bird+10 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Bandit Algorithms Research参考文献 29被引用 18

一句话总结

本文提出了一种基于机器学习的决策服务，通过探索、日志记录和在线学习实现实时、反事实可靠的决策。该服务支持任意离散动作空间、奖励度量和学习算法，并已在新闻网站大规模部署，自2016年1月以来点击率相对提升了25%。

ABSTRACT

Applications and systems are constantly faced with decisions to make, often using a policy to pick from a set of actions based on some contextual information. We create a service that uses machine learning to accomplish this goal. The service uses exploration, logging, and online learning to create a counterfactually sound system supporting a full data lifecycle. The system is general: it works for any discrete choices, with respect to any reward metric, and can work with many learning algorithms and feature representations. The service has a simple API, and was designed to be modular and reproducible to ease deployment and debugging, respectively. We demonstrate how these properties enable learning systems that are robust and safe. Our evaluation shows that the Decision Service makes decisions in real time and incorporates new data quickly into learned policies. A large-scale deployment for a personalized news website has been handling all traffic since Jan. 2016, resulting in a 25% relative lift in clicks. By making the Decision Service externally available, we hope to make optimal decision making available to all.

研究动机与目标

• 设计一种通用决策服务，支持使用机器学习进行实时、数据驱动的决策。
• 解决在具有反馈回路的动态环境中安全且稳健的策略学习挑战。
• 通过在线学习和日志记录，实现新数据的快速集成到学习策略中。
• 提供模块化、可复现且可通过API访问的系统，便于在多样化应用中部署。
• 支持任意离散动作空间和奖励度量，确保在各类系统中的广泛适用性。

提出的方法

• 该系统使用多世界测试（MWT）模拟反事实结果，并在不进行实际部署的情况下评估策略。
• 采用探索策略收集多样化的上下文数据和动作反馈，以支持策略学习。
• 通过日志机制记录动作和奖励，以支持事后分析和策略评估。
• 使用在线学习算法，根据新数据的到达逐步更新策略。
• 服务采用模块化架构，支持插件式学习算法和特征表示。
• 通过简单、标准化的API，实现在不同系统中的便捷集成和可复现性。

实验结果

研究问题

• RQ1 如何设计一种决策服务，以在生产系统中支持实时、反事实可靠的策略学习？
• RQ2 为确保在线决策中的模块化、可复现性和可扩展性，需要哪些架构和算法组件？
• RQ3 探索、日志记录和在线学习的集成如何提升策略的鲁棒性和安全性？
• RQ4 此类系统在不同动作空间、奖励度量和学习算法之间具有多大程度的泛化能力？
• RQ5 与基线决策策略相比，此类系统在真实部署中可实现多大的性能提升？

主要发现

• 自2016年1月以来，该决策服务已成功处理一家大规模个性化新闻网站的所有生产流量。
• 与以往的决策方法相比，该系统实现了点击率25%的相对提升。
• 策略能迅速响应新数据，实现对用户行为变化的快速适应。
• 该服务支持任意离散动作空间和奖励度量，展现出广泛的泛化能力。
• 模块化设计使得在多样化应用中易于调试和部署。
• 通过使用日志数据评估策略，避免了实际的A/B测试，从而保持了反事实的可靠性。