[论文解读] Generalizing Tree Probability Estimation via Bayesian Networks

Cheng Zhang, F. A. Matsen|arXiv (Cornell University)|May 20, 2018

Bayesian Modeling and Causal Inference参考文献 24被引用 14

一句话总结

本文提出子分裂贝叶斯网络（SBNs），一种用于叶标签树上概率估计的灵活贝叶斯网络框架，通过利用树之间的结构相似性，实现对观测样本的泛化扩展。通过建模树空间中的单倍型依赖关系并共享条件概率，SBNs 在高维、多模态树后验分布中显著优于经验频率法与条件单倍型独立法。

ABSTRACT

Probability estimation is one of the fundamental tasks in statistics and machine learning. However, standard methods for probability estimation on discrete objects do not handle object structure in a satisfactory manner. In this paper, we derive a general Bayesian network formulation for probability estimation on leaf-labeled trees that enables flexible approximations which can generalize beyond observations. We show that efficient algorithms for learning Bayesian networks can be easily extended to probability estimation on this challenging structured space. Experiments on both synthetic and real data show that our methods greatly outperform the current practice of using the empirical distribution, as well as a previous effort for probability estimation on trees.

研究动机与目标

• 解决经验频率法与条件单倍型独立法在估计树后验概率时的局限性。
• 开发一种灵活且可泛化的框架，用于结构化树空间上的概率估计。
• 通过贝叶斯网络算法实现在树后验分布上的高效学习与推理。
• 通过参数共享与结构建模，减少过拟合并提升低样本场景下的稳定性。
• 通过捕捉单倍型之间的复杂依赖关系，实现对观测树的泛化扩展。

提出的方法

• 提出子分裂贝叶斯网络（SBNs），通过其单倍型分解表示树，并利用贝叶斯网络结构建模单倍型之间的依赖关系。
• 采用受卷积神经网络中权重共享启发的条件概率共享机制，通过利用树之间局部结构相似性，降低参数数量。
• 应用期望最大化算法处理无根树估计中的缺失数据，实现无根树上SBN的学习。
• 将标准贝叶斯网络学习算法（如基于评分、基于约束的方法）扩展至SBNs的树概率估计。
• 采用基于评分的学习方法（SBN-SA）与基于EM的算法（SBN-EM），并可选引入正则化（SBN-EM-α）以提升泛化能力。
• 将树空间建模为单倍型集合上的分布，允许灵活的、非马尔可夫依赖结构，超越严格的条件独立性。

实验结果

研究问题

• RQ1 能否有效适配贝叶斯网络框架，以建模树空间中复杂且结构化的依赖关系，从而提升概率估计性能？
• RQ2 在样本有限的高维树后验分布中，如何实现参数效率与泛化能力？
• RQ3 SBNs在多模态树后验估计中，相较于经验频率法与条件单倍型独立法，性能提升程度如何？
• RQ4 SBNs能否在保持计算效率与准确性的前提下，推广至无根树？
• RQ5 条件概率共享对树概率估计中模型性能与可扩展性有何影响？

主要发现

• SBN-EM与SBN-EM-α在所有基准数据集上均达到最低的KL散度，显著优于SRF、CCD与SBN-SA。
• 在DS1这一具有挑战性的多模态数据集上，SBN-EM将KL散度降低至0.0136，而CCD为0.6027，显示出优越的偏差校正能力。
• SBN算法在小样本量下仍保持低误差与高学习效率，在低数据场景中优于SRF与CCD。
• SBN-EM-α在多数数据集中表现最佳，尤其在高维空间如DS5与DS6中，分别将KL散度降低至0.8218与0.2786。
• 通过基于EM算法处理缺失数据，SBN框架可有效泛化至无根树，同时保持准确率与可扩展性。
• SBN在合成数据与真实世界系统发育数据中均持续优于现有方法，尤其在捕捉复杂后验模式与稀有树拓扑结构方面表现突出。