[论文解读] Learning Belief Networks in Domains with Recursively Embedded Pseudo Independent Submodels

Jian Hu, Yang Xiang|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 7被引用 11

一句话总结

本文提出了一种增强的多链接搜索算法，用于在具有递归嵌入的伪独立（PI）子模型的领域中学习信念网络——其中依赖变量的子集表现出边缘独立性。通过将检测扩展至嵌套的PI结构，该方法在仅带来与先前方法相比可忽略的计算复杂度增加的情况下，确保了对所有PI子模型的准确学习，实验评估已验证了这一点。

ABSTRACT

A pseudo independent (PI) model is a probabilistic domain model (PDM) where proper subsets of a set of collectively dependent variables display marginal independence. PI models cannot be learned correctly by many algorithms that rely on a single link search. Earlier work on learning PI models has suggested a straightforward multi-link search algorithm. However, when a domain contains recursively embedded PI submodels, it may escape the detection of such an algorithm. In this paper, we propose an improved algorithm that ensures the learning of all embedded PI submodels whose sizes are upper bounded by a predetermined parameter. We show that this improved learning capability only increases the complexity slightly beyond that of the previous algorithm. The performance of the new algorithm is demonstrated through experiment.

研究动机与目标

• 解决现有信念网络学习算法在检测递归嵌入的伪独立（PI）子模型方面的局限性。
• 开发一种方法，即使在依赖变量集合内部嵌套有PI子模型时，也能可靠地学习这些PI子模型。
• 在提升检测能力方面超越先前的多链接搜索算法的同时，保持计算效率。
• 通过在基准领域上的实验评估，证明改进算法的有效性。

提出的方法

• 将传统的多链接搜索算法扩展，以递归地探索并检测较大变量集合中的PI子模型。
• 引入一种递归检测机制，可识别至用户定义大小阈值以内的PI子模型。
• 采用条件独立性检验，验证变量子集之间的边缘独立性，确保PI结构检测的正确性。
• 实施一种剪枝策略，以限制搜索深度并减少计算开销，保持效率。
• 采用分层搜索策略，以自底向上的方式遍历变量依赖图，以发现嵌套的PI结构。
• 借用并改编约束基学习中的技术，将递归结构发现整合到搜索过程中。

实验结果

研究问题

• RQ1 现有信念网络学习算法能否检测递归嵌入的伪独立子模型？
• RQ2 如何将PI子模型的检测能力扩展至处理嵌套或层次依赖关系？
• RQ3 在递归结构中增强PI子模型检测能力的计算成本是多少？
• RQ4 与先前方法相比，所提出的算法在学习准确性方面有多大程度的提升？
• RQ5 增强的检测能力是否带来了不可接受的计算复杂度增加？

主要发现

• 所提出的算法成功检测到所有预定义大小阈值以内的递归嵌入PI子模型，克服了先前单链接和基础多链接搜索方法的局限性。
• 该算法的计算复杂度仅比原始多链接搜索算法略有增加，保持了实际可用的效率。
• 实验结果表明，对于具有复杂嵌套PI结构的领域，学习准确性显著提升。
• 该方法在正确识别先前因递归嵌入而被遗漏的PI子模型方面，优于基线算法。
• 递归检测机制使得在具有高结构复杂性和相互依赖变量集合的领域中也能实现稳健学习。