[论文解读] Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology

Gilles Kratzer, Reinhard Furrer|arXiv (Cornell University)|Aug 3, 2018

Bayesian Modeling and Causal Inference参考文献 20被引用 5

一句话总结

本论文介绍了一个名为 abn 的 R 包，该包实现了频繁统计信息-理论评分准则（如 AIC、BIC 和 MDL），用于从流行病学中的混合分布数据中学习加法贝叶斯网络（ABNs）。该方法在结构学习方面表现优异，尤其在小样本情况下，并通过定制化的估计算法解决了数据分离问题，包括一个高效的 Rcpp 优化 IRLS 实现。

ABSTRACT

Bayesian network modelling is a well adapted approach to study messy and highly correlated datasets which are very common in, e.g., systems epidemiology. A popular approach to learn a Bayesian network from an observational datasets is to identify the maximum a posteriori network in a search-and-score approach. Many scores have been proposed both Bayesian or frequentist based. In an applied perspective, a suitable approach would allow multiple distributions for the data and is robust enough to run autonomously. A promising framework to compute scores are generalized linear models. Indeed, there exists fast algorithms for estimation and many tailored solutions to common epidemiological issues. The purpose of this paper is to present an R package abn that has an implementation of multiple frequentist scores and some realistic simulations that show its usability and performance. It includes features to deal efficiently with data separation and adjustment which are very common in systems epidemiology.

研究动机与目标

• 开发一个可扩展、自动化的框架，用于从系统流行病学中常见的混合分布数据中学习加法贝叶斯网络（ABNs）。
• 解决现有 R 包缺乏对多种指数族分布支持，且在二项回归中存在数据分离问题的局限性。
• 实现并基准测试高效的估计算法，特别是广义线性模型的算法，以提升计算性能和数值稳定性。
• 评估各种信息-理论评分准则（AIC、BIC、MDL、MLE、贝叶斯边际似然）在不同样本大小和网络密度下恢复真实网络结构的性能。

提出的方法

• abn 包在广义线性模型（GLM）框架内实现了频繁统计评分准则（AIC、BIC、MDL）和贝叶斯边际似然评分，适用于混合变量类型（高斯、二项、泊松）。
• 采用 Rcpp 优化的迭代重新加权最小二乘法（IRLS）算法实现，以实现 GLM 参数的快速稳定估计，尤其在存在分离问题的二项模型中至关重要。
• 通过基于评分的搜索进行网络结构学习，使用可分解评分，其中总评分可加性地依赖于每个节点的父节点。
• 通过稳健估计技术和对稀疏数据的仔细处理，缓解数据分离和准分离问题，避免任意排除具有信息量的预测变量。
• 通过 JAGS 生成具有受控密度和变量分布的 DAG，根据节点顺序生成观测值以保持无环性。
• 通过不同样本大小和网络结构下的真正例率、假正例率和假负例率评估性能，参数估计精度通过最大均方根误差（max RMSE）进行评估。

实验结果

研究问题

• RQ1 在不同样本大小和网络密度下，各种信息-理论评分准则（AIC、BIC、MDL、MLE、贝叶斯边际似然）在恢复加法贝叶斯网络真实结构方面的表现如何比较？
• RQ2 当样本量较小时，贝叶斯边际似然评分在结构学习中是否显著优于频繁统计评分？
• RQ3 Rcpp 优化的 IRLS 算法在提升二项回归中 ABN 学习的计算效率和数值稳定性方面效果如何？
• RQ4 数据分离对参数估计和结构学习有何影响？在基于 GLM 的 ABN 框架中如何缓解该问题？
• RQ5 变量类型混合（高斯、二项、泊松）对评分性能和模型选择准确性在 ABN 学习中的影响如何？

主要发现

• Rcpp 优化的 IRLS 实现（glm.irls_cpp）在所有测试的估计算法中速度最快，显著优于标准 R 和 speedglm 实现。
• 贝叶斯边际似然评分（abn）在结构学习中表现出最高效率，尤其在小样本情况下，能有效识别出无边的存在。
• 最大似然（mlik）表现欠佳，始终生成完全连接的网络，因其缺乏对模型复杂度的惩罚。
• AIC 的变异性较高，性能劣于 BIC 和 MDL，尤其在小样本情况下，表明其在此类情境下作为模型选择准则的可靠性较低。
• 贝叶斯和 MLE 参数估计在不同网络密度和样本大小下产生的最大 RMSE 值非常接近，表明 GLM 框架具有稳健性。
• abn 包成功处理了混合分布数据和数据分离问题，保持了数值稳定性，并避免了排除具有信息量的预测变量。