[论文解读] Regret Analysis of Bandit Problems with Causal Background Knowledge

Yangyi Lu, Amirhossein Meisami+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research参考文献 15被引用 6

一句话总结

本文提出了因果 bandit 算法——因果 UCB（C-UCB）和因果 Thompson Sampling（C-TS）——利用因果图在序列决策中减少累积遗憾。通过利用因果结构，这些算法的遗憾界与奖励的直接原因数量（$n$）成比例，而非整个干预空间，即使在仅有几百次迭代的情况下，遗憾也最多可减少三倍。

ABSTRACT

We study how to learn optimal interventions sequentially given causal information represented as a causal graph along with associated conditional distributions. Causal modeling is useful in real world problems like online advertisement where complex causal mechanisms underlie the relationship between interventions and outcomes. We propose two algorithms, causal upper confidence bound (C-UCB) and causal Thompson Sampling (C-TS), that enjoy improved cumulative regret bounds compared with algorithms that do not use causal information. We thus resolve an open problem posed by \cite{lattimore2016causal}. Further, we extend C-UCB and C-TS to the linear bandit setting and propose causal linear UCB (CL-UCB) and causal linear TS (CL-TS) algorithms. These algorithms enjoy a cumulative regret bound that only scales with the feature dimension. Our experiments show the benefit of using causal information. For example, we observe that even with a few hundreds of iterations, the regret of causal algorithms is less than that of standard algorithms by a factor of three. We also show that under certain causal structures, our algorithms scale better than the standard bandit algorithms as the number of interventions increases.

研究动机与目标

• 解决 bandit 问题中高维干预空间带来的挑战，标准算法在遗憾缩放方面表现不佳。
• 通过设计利用因果结构的算法，解决 Lattimore 等人（2016）提出的开放问题，实现 $\tilde{O}(\sqrt{T})$ 的累积遗憾。
• 将因果 bandit 方法扩展到线性 bandit 设置，实现在干预由低维特征参数化时的高效学习。
• 通过实证结果表明，因果算法在真实世界邮件活动和合成设置中显著优于标准 bandit 算法。

提出的方法

• 将因果图整合进上置信界（UCB）和 Thompson Sampling（TS）框架中，利用 do-演算和干预分布指导探索。
• 将干预定义为对观测变量的 do-干预，奖励由因果图导出的结构方程决定。
• 在 C-UCB 中使用置信区间，在 C-TS 中使用后验抽样，其中不确定性由因果结构提供信息，以减少冗余探索。
• 对于线性 bandits，将奖励建模为特征的线性函数，并应用因果正则化，将遗憾降低至 $\tilde{O}(d\sqrt{T})$，其中 $d$ 为特征维度。
• 结合父变量的条件分布，计算干预下的期望奖励和不确定性估计。
• 设计算法，通过优先选择对奖励具有高因果影响的变量进行干预，动态平衡探索与利用。

实验结果

研究问题

• RQ1 能否利用因果结构在多臂 bandit 问题中实现比标准 bandit 算法更紧的累积遗憾界？
• RQ2 当直接原因数量（$n$）远小于总变量数（$N$）时，因果 bandit 算法（如 C-UCB 和 C-TS）是否能实现 $\tilde{O}(\sqrt{T})$ 的遗憾缩放？
• RQ3 当因果结构稀疏时，因果 bandit 算法的性能如何随干预数量的增加而变化？
• RQ4 能否将因果 bandit 方法扩展到线性 bandit 设置，以在高维特征空间中保持低遗憾？
• RQ5 在邮件活动等具有复杂干预空间的真实应用中，因果算法在多大程度上优于标准 UCB 和 TS？

主要发现

• C-UCB 和 C-TS 实现了 $\tilde{O}(\sqrt{k^n T})$ 的累积遗憾界，其中 $n$ 为奖励的直接原因数量，显著优于标准算法在 $(k+1)^N$ 上的缩放。
• 在合成实验中，随着变量数（$n$）的增加，因果算法的遗憾增长远慢于标准 UCB 和 TS，某些系数设置下的增长速率低至 $\tilde{O}(\sqrt{n})$。
• 在邮件活动实验中，因果算法在仅几百次迭代后，遗憾相比标准 UCB 和 TS 减少了三倍。
• 因果线性 bandit 扩展（CL-UCB 和 CL-TS）实现了 $\tilde{O}(d\sqrt{T})$ 的遗憾界，其中 $d$ 为特征维度，表明在高维设置下具有可扩展性。
• Thompson Sampling 变体（C-TS 和 CL-TS）在合成和真实世界实验中始终优于其 UCB 对应版本，与先前的经验发现一致。
• 由图结构提供的因果关系减少了需探索的有效干预数量，即使在完整干预空间较大时，也能实现对最优策略的快速收敛。