[论文解读] Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision

Ye Li, Yishi Lin+2 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Bandit Algorithms Research参考文献 48被引用 5

一句话总结

本文提出了一种统一框架，将离线因果推断与在线上下文 bandit 学习相结合，以改进数据驱动的决策。通过利用记录数据来指导初始策略选择，并利用 LinUCB 等算法通过在线反馈进行自适应调整，该方法在理论上实现了比单独使用记录数据或在线反馈更低的遗憾，首次为基于森林的在线 bandit 算法推导出上界遗憾。

ABSTRACT

A fundamental question for companies with large amount of logged data is: How to use such logged data together with incoming streaming data to make good decisions? Many companies currently make decisions via online A/B tests, but wrong decisions during testing hurt users' experiences and cause irreversible damage. A typical alternative is offline causal inference, which analyzes logged data alone to make decisions. However, these decisions are not adaptive to the new incoming data, and so a wrong decision will continuously hurt users' experiences. To overcome the aforementioned limitations, we propose a framework to unify offline causal inference algorithms (e.g., weighting, matching) and online learning algorithms (e.g., UCB, LinUCB). We propose novel algorithms and derive bounds on the decision accuracy via the notion of "regret". We derive the first upper regret bound for forest-based online bandit algorithms. Experiments on two real datasets show that our algorithms outperform other algorithms that use only logged data or online feedbacks, or algorithms that do not use the data properly.

研究动机与目标

• 解决仅依赖离线记录数据或在线 A/B 测试进行网络应用决策的局限性。
• 通过将历史数据中的因果推断与自适应在线学习相结合，减少在线决策中的遗憾。
• 开发一种混合算法，通过利用记录数据来指导在线 bandit 探索，从而提高学习效率和决策准确性。
• 为通过离线因果推断增强的在线 bandit 算法推导理论遗憾上界，特别是针对基于森林的方法。

提出的方法

• 该框架将离线因果推断（如加权、匹配）与在线 bandit 算法（如 UCB、LinUCB）相结合，以指导策略决策。
• 利用记录数据中不同用户类型的结果估计的加权平均值，来初始化或正则化在线学习。
• 通过分析记录数据对 LinUCB 中置信区间的影响，推导出累积遗憾的上界。
• 一项关键技术贡献是为基于森林的在线 bandit 算法推导出新的遗憾上界，采用矩阵行列式与特征值分析。
• 通过涉及在线数据规模与离线数据协方差矩阵最小特征值之比的项，界定了设计矩阵行列式增长的范围。
• 通过设置参数如 βt(δ) 和 δ = 1/T，确保高概率置信区间，从而在探索与利用之间取得平衡。

实验结果

研究问题

• RQ1 离线因果推断能否提高在线 bandit 学习在数据驱动决策系统中的样本效率？
• RQ2 当使用离线记录数据来指导在线 bandit 算法时，其理论遗憾上界是什么？
• RQ3 与纯在线或离线方法相比，利用有限记录样本的因果推断集成如何影响长期决策准确性？
• RQ4 统一框架能否通过利用历史记录数据和实时反馈来减少遗憾？

主要发现

• 实验在两个真实数据集上表明，所提方法的遗憾低于仅使用记录数据或仅使用在线反馈的情况。
• 首次为基于森林的在线 bandit 算法推导出上界遗憾，为其在混合设置中的应用提供了理论依据。
• 遗憾上界呈 O(log(1 + TL²/λ_min(V_N))) 的形式，表明更信息丰富的离线数据（更高的 λ_min）可带来更快收敛。
• 通过整合来自记录数据的因果估计，该框架减少了选择次优动作的次数，尤其当 δ_a - δ_a* > 0 时效果更明显。
• 期望累积遗憾被界为 O(d² log T / Δ_min × log(1 + TL²/λ_min(V_N)))，表明样本效率得到提升。