[论文解读] A Practical Guide of Off-Policy Evaluation for Bandit Problems

Masahiro Kato, Kenshi Abe+2 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Bandit Algorithms Research参考文献 35被引用 4

一句话总结

本文提出了一种适用于上下文 bandit 问题的实用元算法，用于离策略评估（OPE），根据评估策略的属性对 OPE 场景进行分类，以提升实际应用的适用性。实验表明，通过元框架结合现有的 OPE 估计器，可在最佳策略选择任务中提升性能，该方法在合成数据集和真实世界数据集上均得到验证，显著提高了估计精度和在实际约束下的鲁棒性。

ABSTRACT

Off-policy evaluation (OPE) is the problem of estimating the value of a target policy from samples obtained via different policies. Recently, applying OPE methods for bandit problems has garnered attention. For the theoretical guarantees of an estimator of the policy value, the OPE methods require various conditions on the target policy and policy used for generating the samples. However, existing studies did not carefully discuss the practical situation where such conditions hold, and the gap between them remains. This paper aims to show new results for bridging the gap. Based on the properties of the evaluation policy, we categorize OPE situations. Then, among practical applications, we mainly discuss the best policy selection. For the situation, we propose a meta-algorithm based on existing OPE estimators. We investigate the proposed concepts using synthetic and open real-world datasets in experiments.

研究动机与目标

• 弥合理论 OPE 条件与真实世界 bandit 场景中实际应用之间的差距。
• 根据评估策略的属性对离策略评估场景进行分类，以指导方法选择。
• 提升实际 bandit 应用中最佳策略选择的可靠性与准确性。
• 通过分析所需条件的可行性，将理论 OPE 保证与真实世界部署相衔接。
• 提出一种元算法，整合现有 OPE 估计器，以在实际场景中提升性能。

提出的方法

• 根据行为策略和目标策略的属性（如重叠性与支撑条件）对 OPE 场景进行分类。
• 设计一种元算法，根据识别出的场景类别选择并组合现有的 OPE 估计器（如逆概率加权、双重稳健估计）。
• 在元框架中引入基于模型的方法和直接方法估计器，以增强鲁棒性。
• 将该元算法应用于真实世界和合成的 bandit 数据集，以在多样化策略评估场景中评估性能。
• 利用经验风险最小化原则，对元算法组件进行调优，以在实际约束下实现最优估计。
• 通过消融研究和与基线 OPE 估计器在公开数据集上的比较，验证该方法。

实验结果

研究问题

• RQ1 在哪些实际场景中，标准 OPE 估计器会因违反理论假设而失效？
• RQ2 如何基于评估策略的属性对 OPE 方法进行系统性分类？
• RQ3 通过元算法组合现有 OPE 估计器，是否能提升真实世界 bandit 应用中的估计精度与鲁棒性？
• RQ4 在行为策略和目标策略上，哪些条件对实际中可靠的 OPE 最为关键？
• RQ5 与单一 OPE 估计器相比，所提出的元算法在真实世界和合成 bandit 数据上的表现如何？

主要发现

• 所提出的元算法在最佳策略选择任务中，相比基线 OPE 方法，显著提升了估计精度。
• 基于策略属性对 OPE 场景进行分类，可实现对特定实际场景下合适估计器的更好选择。
• 该方法在多样化的真实世界和合成数据集上表现出稳健性能，包括行为策略与目标策略重叠有限的情况。
• 实证结果表明，通过元框架组合多个 OPE 估计器，可降低策略价值估计中的方差与偏差。
• 该框架能有效应对实际挑战，如数据稀疏性和非重叠支撑，而标准 OPE 方法在这些情况下常会失效。
• 研究证实，重叠性和正性等理论假设虽关键，但在实际中常无法满足，从而证明了采用自适应元方法的必要性。