[论文解读] Imitation-Regularized Offline Learning

Yifei Ma, Yu-Xiang Wang+2 more|arXiv (Cornell University)|Jan 15, 2019

Advanced Bandit Algorithms Research参考文献 32被引用 5

一句话总结

本文提出模仿正则化离线学习（PIL-IML），一种结合策略改进（PIL）与策略模仿（IML）的方法，以提升上下文Bandit中的离线策略评估与优化。通过使用奖励加权交叉熵损失，并将IML与方差减少及自然策略梯度联系起来，该方法在无需记录动作概率的情况下仍能实现稳健性能，在Criteo等真实世界数据集上优于标准IPWE及最先进基线方法。

ABSTRACT

We study the problem of offline learning in automated decision systems under the contextual bandits model. We are given logged historical data consisting of contexts, (randomized) actions, and (nonnegative) rewards. A common goal is to evaluate what would happen if different actions were taken in the same contexts, so as to optimize the action policies accordingly. The typical approach to this problem, inverse probability weighted estimation (IPWE) [Bottou et al., 2013], requires logged action probabilities, which may be missing in practice due to engineering complications. Even when available, small action probabilities cause large uncertainty in IPWE, rendering the corresponding results insignificant. To solve both problems, we show how one can use policy improvement (PIL) objectives, regularized by policy imitation (IML). We motivate and analyze PIL as an extension to Clipped-IPWE, by showing that both are lower-bound surrogates to the vanilla IPWE. We also formally connect IML to IPWE variance estimation [Swaminathan and Joachims 2015] and natural policy gradients. Without probability logging, our PIL-IML interpretations justify and improve, by reward-weighting, the state-of-art cross-entropy (CE) loss that predicts the action items among all action candidates available in the same contexts. With probability logging, our main theoretical contribution connects IML-underfitting to the existence of either confounding variables or model misspecification. We show the value and accuracy of our insights by simulations based on Simpson's paradox, standard UCI multiclass-to-bandit conversions and on the Criteo counterfactual analysis challenge dataset.

研究动机与目标

• 解决在缺少或稀少动作概率时，离线策略学习中逆概率加权估计（IPWE）的高方差与不稳定性问题。
• 开发一种即使在无记录动作概率时仍有效的策略，这是现实系统中常见的实际限制。
• 正式建立策略模仿（IML）与IPWE方差减少及自然策略梯度之间的联系，为其作为稳定代理方法提供理论依据。
• 证明奖励加权交叉熵损失（等价于策略梯度目标）在缺乏奖励建模时，可作为Q-learning的稳健替代方案。
• 在合成数据、UCI多分类转Bandit转换数据集以及Criteo反事实分析挑战数据集上验证该方法。

提出的方法

• 提出PIL-IML作为结合策略改进（PIL）与策略模仿（IML）的代理目标，使用奖励加权交叉熵损失优化动作选择。
• 证明PIL与裁剪IPWE均为经典IPWE的下界代理，为其使用提供理论依据。
• 推导IML与IPWE中方差估计之间的联系，表明IML欠拟合可反映混淆或模型误设问题。
• 利用对数可分性与泰勒展开，将IML与自然策略梯度联系起来，使其在强化学习理论中具有理论基础。
• 应用权重裁剪与填补技术以在实践中稳定IPWE估计，尤其适用于重尾重要性权重分布。
• 采用自助置信区间与配对假设检验评估Criteo数据集上的性能，与IPWE、POEM及贪婪策略进行比较。

实验结果

研究问题

• RQ1 当动作概率缺失时，策略模仿（IML）能否作为IPWE的稳定且方差减少的代理？
• RQ2 IML与IPWE中方差估计及强化学习中自然策略梯度之间有何关系？
• RQ3 奖励加权交叉熵损失（等价于策略梯度目标）是否可在缺乏奖励建模时，作为Q-learning的稳健替代方案？
• RQ4 PIL-IML能否通过IML欠拟合检测混淆变量或模型误设？
• RQ5 在真实世界数据上，PIL-IML与POEM、IPWE等最先进方法相比，在估计准确率与稳定性方面表现如何？

主要发现

• 在Criteo反事实分析数据集上，PIL-IML实现了(52.3, 53.7) ×10⁴的95%置信区间，优于IPWE的(51.9, 54.5) ×10⁴与POEM的(51.4, 53.7) ×10⁴。
• 由PIL-IML导出的贪婪策略性能达到(53.1, 55.2) ×10⁴，优于可实现的IML基线，表明无奖励感知的贪婪策略可接近最优。
• IML欠拟合是检测离线学习中混淆变量或模型误设的必要但非充分条件。
• 通过IML正则化，该方法降低了IPWE估计的方差，尤其在最大权重达49,000的重尾重要性权重分布中效果显著。
• PIL-IML对缺失动作概率具有鲁棒性，当动作概率可用时性能与IPWE相当；在存在混淆时，优于基于Q-learning的方法。
• 权重裁剪与填补技术提升了稳定性，减少了低点击率环境（如全球点击率约5%）中对上限的过度估计。