[论文解读] Large-scale Open Dataset, Pipeline, and Benchmark for Bandit Algorithms

Yuta Saito, Shunsuke Aihara+2 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 21被引用 4

一句话总结

本论文介绍了开放上下文Bandit数据集与开放Bandit流程，这是一个源自ZOZOTOWN电商平台的大规模真实世界数据集及开源工具包，旨在实现对Bandit算法和离策略评估（OPE）估计器的大规模、可复现评估。该数据集包含多个Bandit策略的真实性能指标，使得OPE方法的公平基准测试成为可能，并揭示了未来研究的关键挑战。

ABSTRACT

We build and publicize the Open Bandit Dataset to facilitate scalable and reproducible research on bandit algorithms. It is especially suitable for off-policy evaluation (OPE), which attempts to estimate the performance of hypothetical policies using data generated by a different policy.We construct the dataset based on experiments and implementations on a large-scale fashion e-commerce platform, ZOZOTOWN. The data contain the ground-truth about the performance of several bandit policies and enable fair comparisons of different OPE estimators. We also build a Python package called the Open Bandit Pipeline to streamline implementations of bandit algorithms and OPE estimators. Our open data and pipeline will allow researchers and practitioners to easily evaluate and compare their bandit algorithms and OPE estimators with others in a large, real-world setting. Using our data and pipeline, we provide extensive benchmark experiments of existing OPE estimators. Our experiments open up essential challenges and new avenues for future OPE research. Our pipeline and example data are available at this https URL You can follow the updates of the whole project at this https URL

研究动机与目标

• 为解决当前缺乏大规模真实世界数据集以评估Bandit算法和离策略评估（OPE）方法的问题。
• 通过已知真实策略性能的真实世界数据，实现OPE估计器的公平且可复现的基准测试。
• 通过提供标准化的开源流程，降低研究人员和实践者的门槛，以实现Bandit算法和OPE估计器的实现与测试。
• 通过在真实世界数据上进行广泛基准测试，揭示现有OPE方法在实际应用中的实用挑战与局限性。

提出的方法

• 该数据集源自ZOZOTOWN——一个大规模时尚电商业务平台的真实实验与生产日志，记录了用户交互与策略决策。
• 该数据集包含与多个Bandit策略相关的日志交互，以及每个策略的真实性能指标，从而支持准确的OPE评估。
• 开发了一个名为开放Bandit流程（Open Bandit Pipeline）的Python包，用于标准化Bandit算法与OPE估计器的实现，确保可复现性与易用性。
• 该流程支持数据加载、策略评估与OPE估计器基准测试，简化了端到端的实验流程。
• 数据集与流程已公开发布，以促进Bandit学习领域的透明性、可复现性以及社区驱动的研究。

实验结果

研究问题

• RQ1 在具有已知真实策略性能的大规模真实电商业务场景中，现有OPE估计器的表现如何？
• RQ2 当应用于具有复杂用户行为的真实世界数据时，OPE估计器的关键失效模式与偏差是什么？
• RQ3 在真实世界场景中，不同类型的Bandit策略与数据分布下，OPE估计器的性能如何变化？
• RQ4 在将OPE应用于真实世界数据时，会涌现出哪些实际挑战？未来方法应如何改进以应对这些挑战？

主要发现

• 开放Bandit数据集揭示了多个OPE估计器在真实策略性能估计上与真实值之间存在显著偏差，凸显了其在真实世界场景中的局限性。
• 即使在样本量较大的情况下，一些广泛使用的OPE估计器在真实世界数据上仍表现出高方差与偏差。
• 基准测试结果表明，没有任何一个OPE估计器在所有场景下始终优于其他估计器，这表明需要根据上下文选择合适的估计器。
• 该数据集与流程暴露了诸如非均匀行为策略与复杂用户反馈等实际挑战，而这些在合成基准中往往被低估。