[论文解读] Causal Bandits with Propagating Inference

Akihiro Yabe, Daisuke Hatano+5 more|arXiv (Cornell University)|Jun 6, 2018

Machine Learning and Algorithms被引用 6

一句话总结

该论文提出了首个针对因果图中任意干预的因果多臂赌博机算法，通过传播推理实现 $O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$ 的遗憾界，其中 $\gamma^{*}$ 取决于图结构。该方法通过建模干预效应的因果传播并采用具有理论保证的保守估计策略，实现了在大规模干预空间中的高效探索——尤其在 $|\mathcal{A}| \gg T$ 时表现优异。

ABSTRACT

Bandit is a framework for designing sequential experiments. In each experiment, a learner selects an arm $A \in \mathcal{A}$ and obtains an observation corresponding to $A$. Theoretically, the tight regret lower-bound for the general bandit is polynomial with respect to the number of arms $|\mathcal{A}|$. This makes bandit incapable of handling an exponentially large number of arms, hence the bandit problem with side-information is often considered to overcome this lower bound. Recently, a bandit framework over a causal graph was introduced, where the structure of the causal graph is available as side-information. A causal graph is a fundamental model that is frequently used with a variety of real problems. In this setting, the arms are identified with interventions on a given causal graph, and the effect of an intervention propagates throughout all over the causal graph. The task is to find the best intervention that maximizes the expected value on a target node. Existing algorithms for causal bandit overcame the $Ω(\sqrt{|\mathcal{A}|/T})$ simple-regret lower-bound; however, their algorithms work only when the interventions $\mathcal{A}$ are localized around a single node (i.e., an intervention propagates only to its neighbors). We propose a novel causal bandit algorithm for an arbitrary set of interventions, which can propagate throughout the causal graph. We also show that it achieves $O(\sqrt{ γ^*\log(|\mathcal{A}|T) / T})$ regret bound, where $γ^*$ is determined by using a causal graph structure. In particular, if the in-degree of the causal graph is bounded, then $γ^* = O(N^2)$, where $N$ is the number $N$ of nodes.

研究动机与目标

• 解决现有因果多臂赌博机算法仅能处理影响父节点的局部干预的局限性。
• 开发一种能够处理在整个因果图中传播的任意干预的多臂赌博机算法。
• 实现遗憾界随动作数 $|\mathcal{A}|$ 对数增长的理论结果，从而克服一般多臂赌博机的 $\Omega(\sqrt{|\mathcal{A}|/T})$ 下界。
• 提供一种理论基础坚实的算法，即使在因果图中误差传播的情况下也能保持估计精度。
• 在高维干预设置中（$|\mathcal{A}| \gg T$）展示其经验优越性。

提出的方法

• 该算法将干预建模为因果图上的 do-演算操作，其中效应通过结构方程传播。
• 提出一种保守估计策略，保持干预效应估计与其置信区间之间的独立性。
• 该方法使用截断估计量 $\hat{\alpha}$ 和独立估计量 $\check{\alpha}'$，以防止置信区间中因依赖关系导致的偏差。
• 引入一种新颖的加权方案 $\eta_A$，根据对目标节点的潜在影响优先选择干预，其中 $\eta_A = 1/C$ 表示活跃干预，否则为 0。
• 该算法基于图的结构参数 $\gamma^{*}$ 构建置信区间，当入度有界时，$\gamma^{*} = O(N^2)$。
• 通过新颖的误差传播分析和在结构约束下的置信区间构造，推导出理论遗憾界。

实验结果

研究问题

• RQ1 能否设计一种因果多臂赌博机算法，以处理在整个因果图中传播的任意干预，而不仅限于局部干预？
• RQ2 在该广义因果多臂赌博机设置下，可实现的理论遗憾界是什么？
• RQ3 在该广义设置下，遗憾界如何随动作数 $|\mathcal{A}|$ 和轮次数 $T$ 变化？
• RQ4 当 $|\mathcal{A}| \gg T$ 时，该算法是否仍能保持低遗憾，例如在大规模干预空间中？
• RQ5 图结构——特别是入度和连通性——如何影响可实现的遗憾界？

主要发现

• 所提算法实现了 $O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$ 的遗憾界，其在 $|\mathcal{A}|$ 上为对数增长，显著优于一般多臂赌博机的 $\Omega(\sqrt{|\mathcal{A}|/T})$ 下界。
• 当因果图的入度有界时，$\gamma^{*} = O(N^2)$，导致遗憾界随节点数呈次线性增长。
• 在 $|\mathcal{A}| = 12,870$ 个干预和 $T = 9C$ 的合成实验中，所提算法保持了低遗憾增长，而基线方法未能有效探索。
• 在 Alarm 数据集上，$|\mathcal{A}| = 3,796$ 且 $T \leq 464$ 时，所提算法与基线相比的遗憾差距超过 0.2，表明在高动作数、低样本量场景下表现强劲。
• 该算法在所有合成和真实世界实例中均优于基线，尤其在 $|\mathcal{A}|$ 相对于 $T$ 较大时表现更优。
• 实证结果表明，即使干预数量是可用样本数的 30 倍，该算法仍保持有效性。