[论文解读] Causal Bandits: Learning Good Interventions via Causal Inference

Finnian Lattimore, Tor Lattimore+1 more|arXiv (Cornell University)|Jun 10, 2016

Advanced Bandit Algorithms Research参考文献 29被引用 38

一句话总结

本文提出了因果Bandits（causal bandits）框架，将因果推断与多臂Bandits相结合，通过利用未干预变量的观测数据，加速最优干预的学习。所提出的算法实现了$\tilde{O}(\sqrt{m/T})$的简单遗憾界，其中$m$是基于因果图推导出的结构复杂度度量，显著优于经典Bandit方法所面临的$\Omega(\sqrt{N/T})$遗憾。

ABSTRACT

We study the problem of using causal models to improve the rate at which good interventions can be learned online in a stochastic environment. Our formalism combines multi-arm bandits and causal inference to model a novel type of bandit feedback that is not exploited by existing approaches. We propose a new algorithm that exploits the causal feedback and prove a bound on its simple regret that is strictly better (in all quantities) than algorithms that do not use the additional causal information.

研究动机与目标

• 形式化一类新的Bandit问题，其中干预选择基于奖励和已知因果图的观测数据。
• 解决在每轮仅能干预一个变量，但可观测其他变量的设置中，高效学习最优干预的挑战。
• 证明利用因果结构可获得优于忽略观测数据或将其视为上下文的遗憾界。
• 设计一种通用算法，利用复杂干预-观测关系中的因果反馈，不限于独立因素。

提出的方法

• 该框架将干预建模为Bandit设置中的臂，奖励和额外观测变量由已知因果图决定。
• 使用基于重要性采样估计器，校正使用观测数据估计干预效果时的选择偏差。
• 对于并行Bandit问题（独立因素），算法采用两阶段策略：使用固定设计进行探索，并基于置信区间剔除次优臂。
• 算法根据因果结构动态分配样本给干预，优先选择能提供关于奖励分布最丰富反馈的干预。
• 提出一种通用因果Bandit算法，通过将反馈建模为干预和观测分布的函数，适应任意因果图。
• 该方法结合最小最大遗憾分析，考虑因果模型结构，得出依赖于$m$（因果复杂度度量）的遗憾界。

实验结果

研究问题

• RQ1 能否利用因果模型提升在线学习设置中干预选择的样本效率？
• RQ2 与经典方法相比，包含未干预观测变量如何影响Bandit问题中的遗憾界？
• RQ3 在Bandit学习中，相较于忽略因果反馈或将其视为上下文，利用因果反馈的理论性能增益是什么？
• RQ4 能否设计一种通用算法，以利用超越独立因素的复杂因果反馈结构？
• RQ5 因果图的结构复杂度（以$m$度量）如何影响干预学习中的最小最大遗憾？

主要发现

• 所提出的因果Bandit算法实现了$\tilde{O}(\sqrt{m/T})$的简单遗憾界，严格优于标准Bandit算法的$\Omega(\sqrt{N/T})$遗憾界，其中$m \leq N$。
• 在并行Bandit设置中，算法的遗憾达到最小最大最优（对数因子内），当$m = N$时，证明了其在理论上优于非因果方法。
• 该算法优于上下文Bandit方法，因为它将观测视为干预后的反馈，而非干预前的上下文。
• 实验结果证实，使用因果反馈可显著加快识别高奖励干预的速度。
• 遗憾界依赖于$m$，即因果图的结构度量，其值可远小于$N$（干预数量），表明因果结构可实现更快学习。
• 该框架可推广至存在未观测变量和部分已知因果图的情况，但估计干预分布仍是开放挑战。