[论文解读] Causal Bayesian Optimization

Virginia Aglietti, Xiaoyu Lu+2 more|arXiv (Cornell University)|May 24, 2020

Machine Learning in Materials Science参考文献 2被引用 6

一句话总结

本文提出因果贝叶斯优化（Causal Bayesian Optimization, CBO），该方法将结构因果模型中的do-演算与贝叶斯优化相结合，以高效识别复杂系统中的最优干预。通过利用do-演算推导的干预分布，CBO在收敛速度和干预质量方面均优于标准贝叶斯优化，尤其在不同成本结构和因果依赖条件下表现更优。

ABSTRACT

This paper studies the problem of globally optimizing a variable of interest that is part of a causal model in which a sequence of interventions can be performed. This problem arises in biology, operational research, communications and, more generally, in all fields where the goal is to optimize an output metric of a system of interconnected nodes. Our approach combines ideas from causal inference, uncertainty quantification and sequential decision making. In particular, it generalizes Bayesian optimization, which treats the input variables of the objective function as independent, to scenarios where causal information is available. We show how knowing the causal graph significantly improves the ability to reason about optimal decision making strategies decreasing the optimization cost while avoiding suboptimal solutions. We propose a new algorithm called Causal Bayesian Optimization (CBO). CBO automatically balances two trade-offs: the classical exploration-exploitation and the new observation-intervention, which emerges when combining real interventional data with the estimated intervention effects computed via do-calculus. We demonstrate the practical benefits of this method in a synthetic setting and in two real-world applications.

研究动机与目标

• 解决在具有复杂因果依赖的系统中高效识别最优干预的挑战。
• 将do-演算整合到贝叶斯优化中，以准确建模干预的影响。
• 通过在采集函数中引入因果结构，提升优化效率。
• 在不同成本配置下评估性能，包括固定成本、可变成本和非线性干预成本。
• 在合成数据和真实世界案例中，证明因果感知优化优于标准贝叶斯优化。

提出的方法

• 基于结构因果模型（SCM）使用do-演算推导干预分布，以计算任意干预集下的p(y|do(do(X)=x))。
• 应用do-演算中的条件独立性假设简化干预分布，例如G_B̄C̄中的Y ⊥⊥ C | B。
• 使用融合因果结构的高斯过程模型（GP+）来建模结果函数f(x) = E[Y|do(X=x)]。
• 采用考虑do-干预的因果GP先验，实现对干预结果后验推断的准确估计。
• 将成本函数整合到采集函数中，支持在固定、不同或可变干预成本下的优化。
• 在具有已知因果图和结构方程模型（SEMs）的合成数据、医疗和生态数据集上应用该方法。

实验结果

研究问题

• RQ1 do-演算能否有效整合到贝叶斯优化中，以提升干预搜索效率？
• RQ2 在不同成本结构下，CBO相较于标准贝叶斯优化的表现如何？
• RQ3 在GP先验中建模因果结构是否能实现更快收敛和更优干预质量？
• RQ4 CBO对可变干预成本（包括非线性和非对称成本）的鲁棒性如何？
• RQ5 因果结构对结果预测准确性和最优干预识别的影响是什么？

主要发现

• 在所有合成实验配置中，采用因果GP模型（GP+）的CBO相比标准BO收敛速度显著更快。
• 在合成实验中，CBO与GP+在等成本和不同固定成本下均于100次迭代内达到最优Y*，优于标准BO。
• 在可变成本（Co(X,x) = c + |x|）条件下，CBO与GP+仍保持优异性能，表明其对非线性成本函数具有鲁棒性。
• 因果GP模型通过引入结构依赖关系，降低了结果预测的不确定性，从而提供更准确的干预建议。
• 在医疗案例中，CBO成功识别出最优他汀和阿司匹林干预策略，可最大化前列腺特异性抗原（PSA）水平，同时满足因果约束。
• 在生态案例中，CBO高效识别出最优环境干预措施，以最大化净生态系统钙化（nec），验证了其在真实世界系统中的可扩展性。