[论文解读] Causal Bandits without Graph Learning

Mikhail Konobeev, Jalal Etesami+1 more|arXiv (Cornell University)|Jan 26, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

本文提出RAndomized Parent Search（raps）算法，用于因果Bandits问题，可在未知因果图的情况下发现奖励变量的父节点。该算法通过使用原子干预实现最优干预复杂度，并推导出精确的期望干预次数，通过通用下界证明其最优性；在一般条件下实现次线性缩放，在特定图结构假设下实现对数缩放。

ABSTRACT

We study the causal bandit problem when the causal graph is unknown and develop an efficient algorithm for finding the parent node of the reward node using atomic interventions. We derive the exact equation for the expected number of interventions performed by the algorithm and show that under certain graphical conditions it could perform either logarithmically fast or, under more general assumptions, slower but still sublinearly in the number of variables. We formally show that our algorithm is optimal as it meets the universal lower bound we establish for any algorithm that performs atomic interventions. Finally, we extend our algorithm to the case when the reward node has multiple parents. Using this algorithm together with a standard algorithm from bandit literature leads to improved regret bounds.

研究动机与目标

• 为解决因果Bandits文献中因果图被假设为预先已知的局限性。
• 开发一种高效算法，仅通过原子干预发现奖励变量的父节点，无需了解因果图或其基图结构。
• 推导该算法在任意DAG上的精确期望干预次数，并建立理论最优性。
• 将方法扩展至多奖励父节点情形，并通过标准Bandits算法改进遗憾边界。

提出的方法

• raps算法通过随机化原子干预识别奖励变量的父节点，方法为测试干预节点是否为奖励节点的祖先。
• 基于干预结果的统计检验判断某节点是否为奖励节点的祖先，假设每次干预均提供完美信息。
• 通过基于图结构和正确识别父节点概率的闭式方程，精确推导出干预次数的期望值。
• 通过迭代应用相同原理，将方法扩展至多父节点情形，理论保证干预复杂度。
• 将raps与上置信度界（UCB）Bandits算法结合，以在因果Bandits设置中改进遗憾边界。
• 理论分析证明raps达到干预复杂度的通用下界，从而确立其最优性。

实验结果

研究问题

• RQ1 我们能否设计一种算法，在未知因果图的前提下，发现因果Bandits中奖励变量的父节点？
• RQ2 此类算法在任意DAG上所需的原子干预的精确期望数量是多少？
• RQ3 在何种图结构条件下，干预复杂度随变量数呈对数或次线性缩放？
• RQ4 所提出的算法在干预复杂度上是否最优？其与通用下界相比如何？
• RQ5 该算法如何扩展以处理奖励节点的多个父节点？可实现何种遗憾边界改进？

主要发现

• raps算法通过匹配本文推导的通用下界，实现最优干预复杂度，证明其在信息论上是最优的。
• 对于边概率为 $ p = 1 - \left(\frac{0.5}{\log_2 n - 1}\right)^{1/(\log_2 n - 1)} $ 的Erdős-Rényi随机DAG，期望干预次数缩放为 $ \mathcal{O}(\log n) $。
• 对于边概率为 $ p = \frac{\log n}{n} $ 的Erdős-Rényi图，期望干预次数缩放为 $ \frac{n}{\log n} $，为次线性但慢于对数缩放。
• 当奖励节点有 $ |\mathcal{P}| $ 个父节点时，干预复杂度增长为 $ (|\mathcal{P}| + 1)\log n $，证实该方法具有可扩展性。
• 实验结果表明，理论方程预测的期望干预次数与在 $ n = 1000 $ 的Erdős-Rényi图上20次运行的实验平均值高度一致。
• raps + UCB组合相比UCB单独使用实现了改进的遗憾边界，但因依赖于预算和问题参数，方差有所增加。