[论文解读] Causal Bandits with Unknown Graph Structure

Yangyi Lu, Amirhossein Meisami+1 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Bandit Algorithms Research参考文献 32被引用 6

一句话总结

本文提出了一类因果 bandit 算法，无需事先了解因果图结构，通过奖励反馈进行结构识别，并利用联结树分解。主要贡献在于在温和的可识别性假设下，实现了随变量数量对数增长的遗憾界——显著优于标准多臂赌博机（MAB）算法。这些假设通过下界分析被证明是必要的。

ABSTRACT

In causal bandit problems, the action set consists of interventions on variables of a causal graph. Several researchers have recently studied such bandit problems and pointed out their practical applications. However, all existing works rely on a restrictive and impractical assumption that the learner is given full knowledge of the causal graph structure upfront. In this paper, we develop novel causal bandit algorithms without knowing the causal graph. Our algorithms work well for causal trees, causal forests and a general class of causal graphs. The regret guarantees of our algorithms greatly improve upon those of standard multi-armed bandit (MAB) algorithms under mild conditions. Lastly, we prove our mild conditions are necessary: without them one cannot do better than standard MAB algorithms.

研究动机与目标

• 开发无需事先了解因果图结构的因果 bandit 算法。
• 在动作集较大的场景下，实现优于标准多臂赌博机（MAB）算法的遗憾保证。
• 识别因果 bandit 学习优于非因果方法所需的最小结构假设。
• 将方法推广至因果树之外的更广泛因果图类，包括因果森林和正规区间图。
• 通过建立匹配的下界，证明所提假设是必要的。

提出的方法

• 提出一种新颖算法——中心节点 UCB（CN-UCB），通过利用奖励反馈和树结构，识别奖励的直接原因。
• 使用无向团（联结）树表示因果图的马尔可夫等价类，实现高效探索。
• 在对应于所识别直接原因的简化干预集合上应用 UCB 式探索，以最小化遗憾。
• 采用两阶段流程：首先，利用结构约束识别奖励的直接原因；其次，在简化后的动作集合上应用 bandit 算法。
• 引入可识别性假设（假设 2 和 3），以确保因果效应和奖励结构可从干预中学习。
• 通过联结树分解将框架推广至一般因果图，并证明遗憾界随变量数量对数增长。

实验结果

研究问题

• RQ1 当因果图未知时，因果 bandit 算法能否优于标准 MAB 算法？
• RQ2 在未事先了解图结构的前提下，哪些因果图结构假设是实现改进遗憾性能的必要且充分条件？
• RQ3 能否在不完整恢复因果图的前提下，从干预数据中高效识别出奖励的直接原因？
• RQ4 当因果图为树、森林或更一般的图类时，遗憾如何随变量数量变化？
• RQ5 为实现改进遗憾而提出的假设是否必要，或可进一步放宽？

主要发现

• 所提出的 CN-UCB 算法实现了 Õ((d(𝒯_{G_R})ω(G_R) + ∑_{G∈CC(ℰ(D))} ω(G))K max{1/Δ², 1/ε²} log n log C_max + √(ω(G_R)KT)) 的遗憾界，其随 n 对数增长。
• 对于因果树和森林，遗憾界简化为 Õ(K log n / Δ²)，显著优于标准 MAB 算法，后者遗憾随 n 多项式增长。
• 当最大度 d(𝒯_{G_R}) 和团数 ω(G) 较小时，该算法优于标准 MAB 方法。
• 下界分析表明，若无假设 2（因果效应可识别性）或假设 3（奖励可识别性），遗憾为 Ω(√(nKT))，比所提方法差指数级。
• 结果表明，精确恢复因果图并非必需——仅识别奖励的直接原因即可实现更优遗憾。
• 理论保证是紧致的，因为通过极小化最大下界证明了所需假设的必要性。