[论文解读] Learning from Bandit Feedback: An Overview of the State-of-the-art

Olivier Jeunen, Dmytro Mykhaylov+4 more|arXiv (Cornell University)|Sep 18, 2019

Advanced Bandit Algorithms Research参考文献 12被引用 5

一句话总结

本文针对推荐系统中的上下文Bandit反馈，全面比较了多种离策略学习方法，评估了IPS、POEM、SNIPS及双学习等利用重要性采样与方差缩减的技术。实验基于RecoGym平台表明，上下文Bandit在数据有限时表现优异，而双Bandit与方差正则化方法通过整合负反馈，显著提升了学习的鲁棒性与性能。

ABSTRACT

In machine learning we often try to optimise a decision rule that would have worked well over a historical dataset; this is the so called empirical risk minimisation principle. In the context of learning from recommender system logs, applying this principle becomes a problem because we do not have available the reward of decisions we did not do. In order to handle this "bandit-feedback" setting, several Counterfactual Risk Minimisation (CRM) methods have been proposed in recent years, that attempt to estimate the performance of different policies on historical data. Through importance sampling and various variance reduction techniques, these methods allow more robust learning and inference than classical approaches. It is difficult to accurately estimate the performance of policies that frequently perform actions that were infrequently done in the past and a number of different types of estimators have been proposed. In this paper, we review several methods, based on different off-policy estimators, for learning from bandit feedback. We discuss key differences and commonalities among existing approaches, and compare their empirical performance on the RecoGym simulation environment. To the best of our knowledge, this work is the first comparison study for bandit algorithms in a recommender system setting.

研究动机与目标

• 评估并比较在仅能获取记录动作与奖励的Bandit反馈设定下，推荐系统中近期离策略学习方法的性能。
• 评估反事实风险最小化（CRM）技术在真实世界仿真环境中的实际有效性。
• 探究方差缩减与负反馈引入对策略学习鲁棒性与性能的影响。
• 首次基于RecoGym仿真环境，对推荐系统场景下的Bandit算法进行实证比较。

提出的方法

• 使用重要性采样（IPS）基于记录交互数据，通过逆倾向得分重加权样本，估计未观测动作的性能。
• 在POEM与SNIPS中应用剪裁与惩罚等方差缩减技术，以稳定高方差IPS估计下的学习过程。
• 在双Bandit方法中，将点击概率的似然估计与上下文Bandit策略学习相结合，以同时利用正负反馈。
• 通过共享点击预测与动作选择模型的参数化结构，联合优化两个目标。
• 使用全批量L-BFGS优化模型，并应用Jensen不等式推导对数似然的下界，以提升数值稳定性。
• 利用RecoGym仿真环境生成具有流行度导向记录策略的真实Bandit反馈数据，并通过A/B式测试评估策略性能。

实验结果

研究问题

• RQ1 在训练数据有限时，不同离策略估计器在CTR上的表现如何？
• RQ2 方差正则化（如POEM与SNIPS中的方法）对策略学习的稳定性与准确性有何影响？
• RQ3 与仅使用点击动作的方法相比，引入负反馈（即未点击动作）是否能提升策略性能？
• RQ4 记录策略的选择如何影响离策略学习方法的性能？
• RQ5 在不同数据规模与环境条件下，哪种方法能实现最鲁棒且准确的策略估计？

主要发现

• 在低数据场景下，上下文Bandit方法在CTR上表现最佳，当仅使用5,000名用户进行训练时，优于其他方法。
• 双Bandit方法通过联合优化点击概率与策略选择，有效利用负反馈，展现出更优性能。
• POEM的方差惩罚在当前设置下影响有限，表明其优势可能在记录策略与目标策略差异较大时更为显著。
• 随着训练数据增加，基于似然的方法逐渐追平上下文Bandit方法，表明在数据充足时，纯点击建模方法也具备可行性。
• SNIPS与POEM在高方差IPS估计下表现出更强鲁棒性，尽管SNIPS的随机优化能力使其适用范围更广。
• 结果表明，记录策略的敏感性会影响学习质量，更合理的记录策略能为各类方法带来更稳定的性能表现。