[论文解读] Causal Bandits for Linear Structural Equation Models

Burak Varıcı, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Bandit Algorithms Research被引用 5

一句话总结

该论文为在软干预下具有线性结构方程模型（SEMs）的因果 bandit 问题提出了新颖的算法，通过估计线性依赖于 $N$ 的 SEM 参数，避免了对 $2^N$ 种干预分布的直接估计。在频率学派（基于UCB）和贝叶斯（基于Thompson Sampling）设置下，均实现了 $\tilde{O}(d^{L+1/2}\sqrt{NT})$ 的累积遗憾，且匹配了最小最大下界 $\Omega(d^{L/2-2}\sqrt{T})$，证实了在 $T$、$d$ 和 $L$ 上的最优缩放性能。

ABSTRACT

This paper studies the problem of designing an optimal sequence of interventions in a causal graphical model to minimize cumulative regret with respect to the best intervention in hindsight. This is, naturally, posed as a causal bandit problem. The focus is on causal bandits for linear structural equation models (SEMs) and soft interventions. It is assumed that the graph's structure is known and has $N$ nodes. Two linear mechanisms, one soft intervention and one observational, are assumed for each node, giving rise to $2^N$ possible interventions. Majority of the existing causal bandit algorithms assume that at least the interventional distributions of the reward node's parents are fully specified. However, there are $2^N$ such distributions (one corresponding to each intervention), acquiring which becomes prohibitive even in moderate-sized graphs. This paper dispenses with the assumption of knowing these distributions or their marginals. Two algorithms are proposed for the frequentist (UCB-based) and Bayesian (Thompson Sampling-based) settings. The key idea of these algorithms is to avoid directly estimating the $2^N$ reward distributions and instead estimate the parameters that fully specify the SEMs (linear in $N$) and use them to compute the rewards. In both algorithms, under boundedness assumptions on noise and the parameter space, the cumulative regrets scale as $ ilde{\cal O} (d^{L+\frac{1}{2}} \sqrt{NT})$, where $d$ is the graph's maximum degree, and $L$ is the length of its longest causal path. Additionally, a minimax lower of $Ω(d^{\frac{L}{2}-2}\sqrt{T})$ is presented, which suggests that the achievable and lower bounds conform in their scaling behavior with respect to the horizon $T$ and graph parameters $d$ and $L$.

研究动机与目标

• 解决在奖励节点父节点的干预分布未知时，最小化因果 bandit 累积遗憾的挑战。
• 通过聚焦于 SEM 参数估计而非直接估计 $2^N$ 种干预分布，克服在中等规模图中估计 $2^N$ 种干预分布的高昂计算成本。
• 设计在图的最大度数 $d$ 和最长因果路径长度 $L$ 上可扩展的高效算法，而非依赖于节点数 $N$。
• 建立与最小最大下界匹配的理论遗憾界，证实了在 $T$、$d$ 和 $L$ 上的缩放最优性。
• 通过修改 SEM 参数更新规则，将结果扩展至硬干预，同时保持遗憾保证。

提出的方法

• 使用已知 DAG 结构的线性结构方程模型（LinSEM）建模因果系统，并引入软干预。
• 采用基于 UCB 和基于 Thompson Sampling 的算法，通过估计 SEM 参数（系数和噪声方差）而非直接估计 $2^N$ 种干预分布。
• 在噪声有界和参数空间有界假设下，构建估计 SEM 参数的置信集。
• 利用 SEM 结构计算期望奖励，通过每个节点到奖励节点的路径特异性效应。
• 通过将干预节点的系数设为零，并利用 $Z$ 项固定其值，对 LinSEM-UCB 算法进行修改以适用于硬干预。
• 应用浓度不等式和鞅论证，推导估计误差和遗憾的高概率界。

实验结果

研究问题

• RQ1 我们能否设计出避免估计 $2^N$ 种干预分布但仍能实现次线性遗憾的因果 bandit 算法？
• RQ2 在图的最大度数 $d$ 和最长因果路径长度 $L$ 的维度下，最优遗憾缩放为何种形式？
• RQ3 当干预分布未知时，所提算法与现有方法相比表现如何？
• RQ4 理论遗憾界能否与最小最大下界匹配，从而确认其最优性？
• RQ5 奖励对边权重的非线性依赖关系如何影响线性 bandit 风格算法的设计？

主要发现

• 所提出的基于 UCB 和 Thompson Sampling 的算法实现了 $\tilde{O}(d^{L+1/2}\sqrt{NT})$ 的累积遗憾，该遗憾随时间跨度 $T$ 呈次线性缩放。
• 建立了 $\Omega(d^{L/2-2}\sqrt{T})$ 的最小最大下界，表明遗憾界在对数因子内达到最优。
• 遗憾缩放在 $T$、$d$ 和 $L$ 上与下界一致，表明所提算法在信息论上是最优的。
• 由于路径复合效应，奖励对边权重呈非线性依赖，导致无法直接应用线性 bandit 技术。
• 即使在 $N=10$ 个节点和 5,000 个样本的情况下，对观测变量上奖励的线性回归仍显示出显著的非线性，证实了结构建模的必要性。
• 通过将 SEM 参数矩阵 $\mathbf{B}^*$ 修改为反映固定值和零父依赖关系，算法在硬干预下依然有效。