[论文解读] Estimation Considerations in Contextual Bandits

Maria Dimakopoulou, Zhou, Zhengyuan+2 more|arXiv (Cornell University)|Nov 19, 2017

Advanced Bandit Algorithms Research参考文献 6被引用 27

一句话总结

本文提出了一种平衡的上下文多臂老虎机算法，将因果推断中的平衡方法（如逆倾向得分和残差平衡）整合到参数化与非参数化模型中，以减少结果模型中的估计偏差。通过协变量平衡提升估计稳定性，作者在保持与最先进线性老虎机算法相当的遗憾边界的同时，在实践中展现出更优的鲁棒性和更低的遗憾，尤其是在模型误设和数据偏差的情况下。

ABSTRACT

Contextual bandit algorithms are sensitive to the estimation method of the outcome model as well as the exploration method used, particularly in the presence of rich heterogeneity or complex outcome models, which can lead to difficult estimation problems along the path of learning. We study a consideration for the exploration vs. exploitation framework that does not arise in multi-armed bandits but is crucial in contextual bandits; the way exploration and exploitation is conducted in the present affects the bias and variance in the potential outcome model estimation in subsequent stages of learning. We develop parametric and non-parametric contextual bandits that integrate balancing methods from the causal inference literature in their estimation to make it less prone to problems of estimation bias. We provide the first regret bound analyses for contextual bandits with balancing in the domain of linear contextual bandits that match the state of the art regret bounds. We demonstrate the strong practical advantage of balanced contextual bandits on a large number of supervised learning datasets and on a synthetic example that simulates model mis-specification and prejudice in the initial training data. Additionally, we develop contextual bandits with simpler assignment policies by leveraging sparse model estimation methods from the econometrics literature and demonstrate empirically that in the early stages they can improve the rate of learning and decrease regret.

研究动机与目标

• 解决由于非均匀处理分配、模型误设以及早期学习阶段的数据偏见导致的上下文多臂老虎机中的估计偏差问题。
• 将因果推断中的平衡技术（如逆倾向权重和残差平衡）整合到上下文多臂老虎机估计中，以提升模型稳定性。
• 首次为带有平衡的线性上下文多臂老虎机提供遗憾边界分析，其理论保证与最先进水平相当。
• 通过实证结果表明，平衡多臂老虎机在存在偏差或模型不匹配的现实世界和合成数据集上，能提升学习速率并降低遗憾。
• 探索更简单、平滑的分配策略在降低方差和改善早期估计方面的优势。

提出的方法

• 将逆倾向得分和近似残差平衡等平衡方法整合到上下文多臂老虎机的结果模型估计中，适用于线性和非线性模型。
• 将平衡方法应用于参数化模型（如岭回归、LASSO）和非参数化模型（如随机森林），以减少奖励函数估计中的偏差。
• 提出平衡线性汤普森采样（BLTS）和平衡线性UCB（BLUCB），在均值奖励和不确定性估计中引入平衡机制。
• 采用两阶段估计方法：首先利用平衡方法估计倾向得分和潜在结果，然后将这些估计结果用于汤普森采样或UCB以实现探索与利用的权衡。
• 借鉴计量经济学中的稀疏模型估计技术，设计更简单、方差更低的分配策略，以提升早期学习性能。
• 在分配规则中引入平滑机制，以降低对干扰参数估计（如 $μ_a(x)$, $p_a(x)$）的方差，从而增强早期学习阶段的稳定性。

实验结果

研究问题

• RQ1 在上下文多臂老虎机中，对处理组之间协变量进行平衡如何影响估计偏差和遗憾？
• RQ2 因果推断中的平衡方法能否有效整合到线性上下文多臂老虎机中，以提升估计稳定性和遗憾边界？
• RQ3 使用更简单、平滑的分配策略是否能降低结果估计的方差，并改善早期阶段的学习速率？
• RQ4 在模型误设或训练数据存在偏差的情况下，平衡上下文多臂老虎机相较于标准LinTS和LinUCB的表现如何？
• RQ5 平衡线性上下文多臂老虎机的理论遗憾表现如何？其结果是否与最先进理论边界一致？

主要发现

• 平衡线性上下文多臂老虎机（BLTS和BLUCB）实现了与最先进线性多臂老虎机相当的遗憾边界，提供了强有力的理论保证。
• 在具有多分类反馈的带bandit反馈的分类任务中，BLTS和BLUCB相较于标准LinTS和LinUCB显著降低了遗憾，尤其在模型误设情况下表现更优。
• 采用平衡方法可显著减少结果模型中的估计偏差，特别是在处理分配非均匀或早期阶段数据存在偏差时。
• 更简单、平滑的分配策略可降低干扰参数估计的方差，从而改善早期学习阶段的表现并减少遗憾。
• 在真实世界数据集和合成示例上的实证结果表明，平衡多臂老虎机对数据偏见和模型误设更具鲁棒性。
• 将因果推断中的平衡技术整合到多臂老虎机学习中，可同时提升估计准确性和策略性能，尤其在存在丰富异质性或数据有限的场景下。