[论文解读] Improving offline evaluation of contextual bandit algorithms via bootstrapping techniques

Olivier Nicol, Jérémie Mary+1 more|arXiv (Cornell University)|May 14, 2014

Advanced Bandit Algorithms Research参考文献 23被引用 15

一句话总结

本文提出 BRED，一种基于自举法的上下文Bandit算法离线评估方法，显著提升了估计精度并提供了可靠的不确定性估计。通过使用抖动奖励值进行重采样并利用自举方差估计，BRED 相较于传统重放方法在数据有限的动态推荐场景中收敛更快、偏差更小。

ABSTRACT

In many recommendation applications such as news recommendation, the items that can be rec- ommended come and go at a very fast pace. This is a challenge for recommender systems (RS) to face this setting. Online learning algorithms seem to be the most straight forward solution. The contextual bandit framework was introduced for that very purpose. In general the evaluation of a RS is a critical issue. Live evaluation is of- ten avoided due to the potential loss of revenue, hence the need for offline evaluation methods. Two options are available. Model based meth- ods are biased by nature and are thus difficult to trust when used alone. Data driven methods are therefore what we consider here. Evaluat- ing online learning algorithms with past data is not simple but some methods exist in the litera- ture. Nonetheless their accuracy is not satisfac- tory mainly due to their mechanism of data re- jection that only allow the exploitation of a small fraction of the data. We precisely address this issue in this paper. After highlighting the limita- tions of the previous methods, we present a new method, based on bootstrapping techniques. This new method comes with two important improve- ments: it is much more accurate and it provides a measure of quality of its estimation. The latter is a highly desirable property in order to minimize the risks entailed by putting online a RS for the first time. We provide both theoretical and ex- perimental proofs of its superiority compared to state-of-the-art methods, as well as an analysis of the convergence of the measure of quality.

研究动机与目标

• 解决现有上下文Bandit算法离线评估方法在动态推荐场景中精度差、偏差高的问题。
• 克服基于重放方法中数据拒收的局限性，该局限性严重限制了可用数据量并增加了估计方差。
• 开发一种不仅能提供准确性能估计，还能提供可靠估计不确定性度量的方法，以支持安全的部署决策。
• 证明自举技术可显著加速在线学习算法离线评估的收敛速度并降低偏差。

提出的方法

• 提出 BRED（基于自举的奖励估计），一种新颖的离线评估方法，通过自举重采样历史交互数据来估计上下文Bandit策略的性能。
• 在重采样过程中引入奖励值的抖动以稳定方差估计并改善收敛性，最优抖动水平被证明与 $O(1/\sqrt{T})$ 成比例。
• 利用自举原理估计性能估计量的抽样分布，从而支持置信区间和不确定性量化。
• 在动态数据集（如 Yahoo! R6B）中对静态数据的滑动窗口应用 BRED，以在非平稳条件下保持有效性。
• 将多个重采样中的自举估计结果合并，以计算稳健且低方差的性能估计，并提供正式的方差估计。
• 通过在合成数据集和真实世界数据集（Yahoo! R6B）上的实证验证，将 BRED 与重放法及其他基线方法进行比较。

实验结果

研究问题

• RQ1 当数据拒收限制了可用数据集大小时，如何提高上下文Bandit算法离线评估的准确性？
• RQ2 自举技术是否能降低偏差并提升在线学习策略离线评估的收敛速度？
• RQ3 所提出的方法是否能为性能估计提供可靠的不确定性度量，这对于安全部署决策至关重要？
• RQ4 在动态推荐数据上，BRED 相较于最先进的基于重放的方法在估计精度方面表现如何？
• RQ5 在奖励重采样中，抖动的最优水平是多少，以在自举性能估计的偏差与方差之间取得平衡？

主要发现

• 由于减少了数据拒收并改善了方差控制，BRED 在估计精度上显著优于传统重放方法，尤其在小样本数据集上表现突出。
• 在静态数据集上，BRED 的收敛速度远快于重放方法，实验结果表明其在合成数据和真实世界数据上的估计误差均显著更低。
• BRED 通过自举方差估计提供了可靠的不确定性度量，这对在部署新型推荐系统时最小化风险至关重要。
• 在重采样中使用抖动奖励值可提高稳定性并降低偏差，尤其在数据集规模有限时效果明显，最优抖动水平与 $O(1/\sqrt{T})$ 成比例。
• 在 Yahoo! R6B 数据集上，BRED 的点击率估计始终比重放方法更接近真实值，而重放方法在小批量情况下系统性地低估了性能。
• 理论分析证实了不确定性估计的快速收敛性，支持其在实际部署决策中的实用价值。