[论文解读] An Unbiased, Data-Driven, Offline Evaluation Method of Contextual Bandit Algorithms

Lihong Li, Wei Chu+1 more|arXiv (Cornell University)|Mar 31, 2010

Advanced Bandit Algorithms Research参考文献 25被引用 3

一句话总结

本文提出了一种基于数据驱动、回放机制的离线评估方法，用于上下文Bandit算法，通过直接使用历史记录数据消除仿真偏差。与基于仿真器的方法不同，该方法可实现可证明的无偏评估，并在大型Yahoo!新闻数据集上与在线桶测试结果高度一致。

ABSTRACT

Contextual bandit algorithms have become popular for online recommendation systems such as Digg, Yahoo! Buzz, and news recommendation in general. \emph{Offline} evaluation of the effectiveness of new algorithms in these applications is critical for protecting online user experiences but very challenging due to their partial-label nature. Common practice is to create a simulator which simulates the online environment for the problem at hand and then run an algorithm against this simulator. However, creating simulator itself is often difficult and modeling bias is usually unavoidably introduced. In this paper, we introduce a \emph{replay} methodology for contextual bandit algorithm evaluation. Different from simulator-based approaches, our method is completely data-driven and very easy to adapt to different applications. More importantly, our method can provide provably unbiased evaluations. Our empirical results on a large-scale news article recommendation dataset collected from Yahoo! Front Page conform well with our theoretical results. Furthermore, comparisons between our offline replay and online bucket evaluation of several contextual bandit algorithms show accuracy and effectiveness of our offline evaluation method.

研究动机与目标

• 解决推荐系统中上下文Bandit算法离线评估存在偏差或不准确的问题。
• 消除对仿真器评估的依赖，后者常引入建模偏差。
• 开发一种既易于在不同应用中适配，又能实现可证明无偏的评估方法。
• 通过将离线评估结果与在线桶测试进行比较，验证该方法的准确性。
• 为现实世界推荐系统提供一种实用、基于数据的替代方案，以替代基于仿真器的评估。

提出的方法

• 该方法使用回放机制，将真实世界数据集中的历史记录交互数据重新播放，以模拟在线Bandit部署。
• 它利用包含上下文、动作和奖励的记录数据，重建上下文Bandit的决策过程。
• 评估基于过去交互中实际观测到的奖励，避免对环境或奖励模型的假设。
• 通过将记录数据视为真实数据分布的代表性样本，确保估计的无偏性。
• 该方法可使用相同的历史数据对多个Bandit算法进行比较，确保评估的公平性与一致性。
• 该方法完全离线，无需在线部署或对用户行为进行仿真。

实验结果

研究问题

• RQ1 基于数据驱动的回放方法能否提供对上下文Bandit算法性能的无偏离线评估？
• RQ2 在真实环境中，该回放方法的性能与在线桶测试相比如何？
• RQ3 与基于仿真器的评估相比，该回放方法在多大程度上减少了偏差？
• RQ4 该回放方法在不同推荐系统应用中是否具备可扩展性和可适配性？
• RQ5 基于回放的离线评估是否能准确反映在线算法性能？

主要发现

• 基于回放的评估方法可提供对算法性能的可证明无偏估计，而基于仿真器的方法则不能。
• 在大型Yahoo!新闻数据集上的实证结果表明，离线回放评估与在线桶测试结果高度一致。
• 该方法通过消除仿真器设计中固有的建模偏差，优于基于仿真的评估方法。
• 由于依赖真实记录数据，该方法易于适配到不同应用场景。
• 离线评估结果与在线性能高度吻合，验证了该方法的准确性和可靠性。
• 本研究证实，基于回放的评估可作为在线A/B测试在算法选择中的可信替代方案。