[论文解读] Causal Bandits without prior knowledge using separating sets

Arnoud A. W. M. de Kroon, Danielle Belgrave+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了一种因果Bandit算法，无需事先了解因果结构，即可从数据中学习分离集，方法包括条件独立性检验或因果发现技术。该方法通过利用结构依赖关系，在离散和高斯模型中均实现了更优的遗憾性能，即使存在混淆或循环结构，其表现也优于经典Bandit方法，在模拟实验和真实世界蛋白质信号传导数据中表现优异。

ABSTRACT

The Causal Bandit is a variant of the classic Bandit problem where an agent must identify the best action in a sequential decision-making process, where the reward distribution of the actions displays a non-trivial dependence structure that is governed by a causal model. Methods proposed for this problem thus far in the literature rely on exact prior knowledge of the full causal graph. We formulate new causal bandit algorithms that no longer necessarily rely on prior causal knowledge. Instead, they utilize an estimator based on separating sets, which we can find using simple conditional independence tests or causal discovery methods. We show that, given a true separating set, for discrete i.i.d. data, this estimator is unbiased, and has variance which is upper bounded by that of the sample mean. We develop algorithms based on Thompson Sampling and UCB for discrete and Gaussian models respectively and show increased performance on simulation data as well as on a bandit drawing from real-world protein signaling data.

研究动机与目标

• 开发无需事先了解因果结构或干预分布的因果Bandit算法。
• 通过利用分离集中的结构依赖关系，实现顺序决策中的性能提升。
• 证明可直接从观测数据和干预数据中利用条件独立性检验估计分离集。
• 表明所提出的估计器具有有界方差，并在结构化环境中优于经典Bandit算法。

提出的方法

• 该方法使用分离集 S，使得上下文变量 I ⊥⊥ Y | S，从而在不同干预之间实现信息共享。
• 通过收集数据上的条件独立性检验来估计分离集属性，避免进行完整的因果发现，转而专注于目标测试。
• 对于离散模型，采用Thompson Sampling，并基于分离集设计估计器以降低方差。
• 对于线性高斯模型，对UCB-normal进行改进，以整合分离集信息，从而获得更优的遗憾界。
• 当可用时，整合因果发现算法的结果，以增强对检验错误的鲁棒性。
• 利用观测数据校正条件独立性检验中的误差，从而提高可靠性。

实验结果

研究问题

• RQ1 因果Bandit算法是否能在不依赖因果图或干预分布先验知识的情况下实现更优的遗憾性能？
• RQ2 在在线、顺序决策设置中，如何从数据中估计分离集？
• RQ3 与样本均值相比，所提出的估计器在离散设置下的方差行为如何？
• RQ4 在具有复杂依赖关系的真实世界生物数据上，利用分离集是否能带来性能提升？
• RQ5 将观测数据与干预数据结合，如何影响分离集检测的准确性？

主要发现

• 针对离散变量的所提估计器，其方差上界不超过样本均值，确保了性能稳定。
• 在234个四节点DAG的模拟实验中，采用分离集估计的算法显著降低了累积遗憾，优于经典Bandit基线方法。
• 在Sachs等人提供的蛋白质信号传导数据上，Causal UCB-Normal算法优于传统UCB，尤其在1000至4000次迭代之间表现更优。
• ASD-JCI123kt变体从额外的观测样本中获益多于直接测试，表明其误差校正能力得到提升。
• 即使不存在真实的分离集，该方法也仅承受轻微惩罚，显示出对假阳性结果的鲁棒性。
• 该框架表明，分离集可作为强大的归纳偏置，改善结构化因果Bandit中的偏差-方差权衡。