[论文解读] CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning

Yi Su, Lequn Wang+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用 1

一句话总结

本文提出连续自适应融合（CAB），一种用于上下文Bandit中离线策略评估与学习的新颖反事实估计器。CAB 使用连续、可微的融合函数自适应地组合多个估计器，其偏差低于IPS和直接方法，方差低于双重稳健和IPS，且通过次可微性支持端到端学习。

ABSTRACT

The ability to perform offline A/B-testing and off-policy learning using logged contextual bandit feedback is highly desirable in a broad range of applications, including recommender systems, search engines, ad placement, and personalized health care. Both offline A/B-testing and off-policy learning require a counterfactual estimator that evaluates how some new policy would have performed, if it had been used instead of the logging policy. In this paper, we identify a family of counterfactual estimators which subsumes most such estimators proposed to date. Our analysis of this family identifies a new estimator - called Continuous Adaptive Blending (CAB) - which enjoys many advantageous theoretical and practical properties. In particular, it can be substantially less biased than clipped Inverse Propensity Score (IPS) weighting and the Direct Method, and it can have less variance than Doubly Robust and IPS estimators. In addition, it is sub-differentiable such that it can be used for learning, unlike the SWITCH estimator. Experimental results show that CAB provides excellent evaluation accuracy and outperforms other counterfactual estimators in terms of learning performance.

研究动机与目标

• 解决利用记录的上下文Bandit数据进行准确离线策略评估与学习的挑战。
• 识别一个统一的反事实估计器家族，涵盖现有方法如IPS、直接方法和双重稳健。
• 开发一种新估计器，同时最小化偏差与方差，在评估与学习方面均优于最先进方法。
• 确保估计器具备次可微性，以支持端到端策略学习，克服非可微估计器（如SWITCH）的局限性。

提出的方法

• 提出一个反事实估计器家族，通过将IPS、直接方法和双重稳健等方法建模为特例，推广现有方法。
• 引入连续自适应融合（CAB），一种使用学习到的连续权重组合多个基础估计器的可微融合函数。
• 采用连续、次可微的融合机制，支持基于梯度的优化，使其可应用于策略学习流程。
• 推导理论性质，表明CAB的偏差低于裁剪IPS和直接方法，方差低于双重稳健和IPS。
• 在策略学习过程中通过梯度下降优化融合权重，使其适应数据分布并最小化估计误差。

实验结果

研究问题

• RQ1 能否定义一个统一的反事实估计器家族，使其推广现有方法如IPS、直接方法和双重稳健？
• RQ2 一种自适应融合多个估计器的融合估计器是否能在离线策略评估中实现比单个估计器更低的偏差与方差？
• RQ3 可微的融合机制是否能支持使用反事实反馈进行端到端策略学习？
• RQ4 在真实世界离线Bandit数据上，CAB与最先进估计器相比，在评估准确性和学习性能方面表现如何？

主要发现

• 在离线策略评估中，CAB的偏差显著低于裁剪的逆倾向得分（IPS）加权和直接方法。
• CAB的方差低于双重稳健和IPS估计器，提升了估计的稳定性。
• 由于具备次可微性，CAB支持端到端策略学习，而诸如SWITCH等非可微估计器则不具备此能力。
• 实验结果表明，CAB在基准离线Bandit数据集上提供了更优的评估准确性和学习性能，优于其他估计器。