[论文解读] Unsupervised Learning of Noisy-Or Bayesian Networks

Yonatan Halpern, David Sontag|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用 18

一句话总结

本文提出了一种基于原点法的多项式时间算法，用于在具有隐变量的噪声或贝叶斯网络中进行无监督参数学习，避免了昂贵的推理步骤。该方法仅使用观察到的症状，成功学习了QMR-DT医学诊断网络的完整参数集，尽管存在未观察到的疾病状态，仍实现了高精度。

ABSTRACT

This paper considers the problem of learning the parameters in Bayesian networks of discrete variables with known structure and hidden variables. Previous approaches in these settings typically use expectation maximization; when the network has high treewidth, the required expectations might be approximated using Monte Carlo or variational methods. We show how to avoid inference altogether during learning by giving a polynomial-time algorithm based on the method-of-moments, building upon recent work on learning discrete-valued mixture models. In particular, we show how to learn the parameters for a family of bipartite noisy-or Bayesian networks. In our experimental results, we demonstrate an application of our algorithm to learning QMR-DT, a large Bayesian network used for medical diagnosis. We show that it is possible to fully learn the parameters of QMR-DT even when only the findings are observed in the training data (ground truth diseases unknown).

研究动机与目标

• 解决在高树宽的离散贝叶斯网络中存在隐变量时的参数学习挑战。
• 消除学习过程中昂贵的推理步骤（如EM或MCMC）的需求。
• 开发一种可扩展的、多项式时间的算法，适用于大规模网络（如QMR-DT）。
• 在仅观察到症状（发现）而无真实疾病标签的情况下，实现完整参数学习。
• 将近期在离散高斯混合模型的矩方法学习方面的进展，扩展至噪声或结构。

提出的方法

• 该方法采用原点法框架，利用观测数据的高阶矩来估计模型参数。
• 其聚焦于双分量噪声或网络，其中在给定疾病的情况下症状条件独立，这种结构在医学诊断中很常见。
• 该算法推导出低阶矩（如一阶和二阶矩）的闭式表达式，以构建用于参数估计的方程组。
• 它使用张量分解技术提取潜在结构，并估计噪声或模型的条件概率表。
• 该方法通过仅依赖从训练数据中计算的经验矩，避免了迭代推理。
• 该方法计算效率高，运行时间呈多项式时间复杂度，可扩展至大规模网络（如QMR-DT）。

实验结果

研究问题

• RQ1 我们能否在不完全观测到隐变量疾病状态的情况下，学习噪声或贝叶斯网络的参数？
• RQ2 在参数学习过程中，是否可以避免MCMC或变分推理等昂贵的推理步骤？
• RQ3 原点法能否有效应用于具有隐变量的结构化模型（如噪声或网络）？
• RQ4 该方法在真实世界中高树宽网络（如QMR-DT）上的表现如何？
• RQ5 当仅观察到症状而疾病状态未被观测时，该算法能否实现准确的参数恢复？

主要发现

• 所提出的方法仅使用观察到的症状，无需真实疾病标签，即可对QMR-DT网络实现准确的参数估计。
• 该算法运行时间呈多项式时间复杂度，使其可扩展至EM方法计算上不可行的大规模网络。
• 实验结果表明，原点法方法在参数恢复精度方面与传统EM方法相当或更优。
• 该方法成功学习了QMR-DT的完整参数集，包括所有症状-疾病关系的条件概率表。
• 该方法在未观测到疾病状态的情况下表现出鲁棒性，在部分可观测条件下仍能保持高保真度的参数估计。
• 该方法为大规模贝叶斯网络学习提供了一种可行的EM替代方案，尤其适用于医学诊断场景。