[论文解读] Explore-Exploit: A Framework for Interactive and Online Learning

Honglei Liu, Anuj Kumar+2 more|arXiv (Cornell University)|Dec 1, 2018

Advanced Bandit Algorithms Research参考文献 13被引用 3

一句话总结

Explore-Exploit 是一个生产就绪的在线和交互式机器学习框架，通过平衡探索与利用，最小化用户体验的退化。它在超参数调优、主动学习和强化学习等任务中，使用可配置的在线学习算子（如 UCB1Enhanced 和 epsilon-greedy），实现数天内自动收敛至最优设置，而非数周。

ABSTRACT

Interactive user interfaces need to continuously evolve based on the interactions that a user has (or does not have) with the system. This may require constant exploration of various options that the system may have for the user and obtaining signals of user preferences on those. However, such an exploration, especially when the set of available options itself can change frequently, can lead to sub-optimal user experiences. We present Explore-Exploit: a framework designed to collect and utilize user feedback in an interactive and online setting that minimizes regressions in end-user experience. This framework provides a suite of online learning operators for various tasks such as personalization ranking, candidate selection and active learning. We demonstrate how to integrate this framework with run-time services to leverage online and interactive machine learning out-of-the-box. We also present results demonstrating the efficiencies that can be achieved using the Explore-Exploit framework.

研究动机与目标

• 解决在实时生产环境中持续适应用户偏好演变的挑战。
• 最小化在线学习过程中次优探索导致的用户体验退化。
• 实现交互式和在线学习与现有运行时服务的无缝集成，无需架构重构。
• 通过可配置、即插即用的算子，支持排序、候选选择、超参数调优和主动学习等多种学习任务。
• 提供生产级系统，自动实现基于反馈的模型自适应，同时保持高相关性和可用性。

提出的方法

• 设计基于订阅的服务架构，使任何运行时系统均可通过最小耦合轻松选择是否参与探索。
• 定义探索目标（Exploration Target），包含 Transformer、算子、反馈获取器和元数据，以封装学习目标。
• 实现多种在线学习算子，包括 epsilon-greedy、UCB1、Thompson Sampling，以及一种新型的 UCB1Enhanced 变体，用于目标特定优化。
• 使用 UCB1Enhanced 算子，通过基于奖励的目标函数平衡探索与利用，该函数对偏离目标指标（如 CTR = 0.11）进行惩罚。
• 记录并处理实时用户反馈信号，动态调整候选选择和模型参数。
• 支持流式和池化主动学习，并与强化学习及 AutoML 工作流集成。

实验结果

研究问题

• RQ1 在实时生产系统中，如何有效平衡探索与利用，以避免用户体验退化？
• RQ2 何种架构模式可实现在线学习与现有运行时服务的无缝集成，而无需系统级变更？
• RQ3 通过在线学习实现的自动超参数调优，是否能比手动调优更快、更可靠地收敛至最优设置？
• RQ4 UCB1Enhanced 算子在在线学习环境中，是否能有效最小化遗憾并实现目标性能指标（如 CTR）？
• RQ5 统一框架在多任务生产环境中，支持排序、主动学习和强化学习等多样化学习任务的程度如何？

主要发现

• Explore-Exploit 框架使个性化模型自动收敛至最优阈值（0.12），目标 CTR 为 0.11，将手动调优时间从数周缩短至数天。
• 经过数天运行后，系统收敛至与目标奖励相对偏差最小的候选（0.12，偏差 ≈ 0），证实了学习过程的准确性。
• 初始探索在各候选间均匀分布，表明收敛前实现了无偏数据采集，支持学习过程的有效性。
• 该框架成功减少了工程工作量，消除了在多个模型间进行手动 A/B 测试和迭代阈值调优的需求。
• UCB1Enhanced 算子有效优先选择高潜力候选，最小化遗憾，同时保持对未充分探索选项的探索。
• 基于订阅的设计使得在线学习功能的启用和移除更加简便，支持在不同服务中灵活部署。