[论文解读] Critical Remarks on Single Link Search in Learning Belief Networks

Yang Xiang, S. K. M. Wong+1 more|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用 39

一句话总结

本文表明，无论使用何种评分度量（熵、MDL、贝叶斯或条件独立性），在信念网络学习中，单链接前瞻搜索均无法正确识别具有特定依赖模式的一类概率模型。其主要贡献在于揭示此类算法可能学习到错误的结构，当真实模型属于此类时，会导致推理错误，因此主张在缺乏强先验知识的情况下采用多链接前瞻或替代启发式方法。

ABSTRACT

In learning belief networks, the single link lookahead search is widely adopted to reduce the search space. We show that there exists a class of probabilistic domain models which displays a special pattern of dependency. We analyze the behavior of several learning algorithms using different scoring metrics such as the entropy, conditional independence, minimal description length and Bayesian metrics. We demonstrate that single link lookahead search procedures (employed in these algorithms) cannot learn these models correctly. Thus, when the underlying domain model actually belongs to this class, the use of a single link search procedure will result in learning of an incorrect model. This may lead to inference errors when the model is used. Our analysis suggests that if the prior knowledge about a domain does not rule out the possible existence of these models, a multi-link lookahead search or other heuristics should be used for the learning process.

研究动机与目标

• 调查单链接前瞻搜索在学习信念网络时的局限性。
• 分析在单链接搜索下，熵、条件独立性、MDL 和贝叶斯等评分度量的行为。
• 识别出单链接搜索无法恢复正确结构的一类概率模型。
• 证明在实际应用中，错误的模型学习可能导致推理错误。
• 当先验知识无法排除有问题的依赖模式时，推荐采用多链接前瞻或替代启发式方法。

提出的方法

• 作者分析了一类具有特定依赖模式的概率领域模型，该模式会逃避单链接搜索的检测。
• 他们在同一模型类别上评估了多种评分度量：熵、条件独立性、最小描述长度（MDL）和贝叶斯评分。
• 分析聚焦于单链接前瞻下的结构学习过程，即每次仅添加或移除一条边。
• 该研究使用形式化推理证明，任何单链接搜索过程都无法在该模型类别中正确识别真实结构。
• 作者比较了在单链接约束下，使用这些度量的知名学习算法的行为。
• 他们认为，失败的根本原因在于单链接搜索的局部性，无法捕捉某些模型中固有的全局结构依赖。

实验结果

研究问题

• RQ1 单链接前瞻搜索能否正确学习具有特定依赖模式的信念网络？
• RQ2 在该类模型下，不同评分度量（熵、MDL、贝叶斯和条件独立性）在单链接搜索下的表现是否等效？
• RQ3 哪些概率模型的结构特性使其无法被单链接搜索过程检测到？
• RQ4 在何种条件下，单链接搜索会导致错误的模型结构？
• RQ5 当真实模型属于该问题类别时，需要何种替代搜索策略？

主要发现

• 无论使用何种评分度量，单链接前瞻搜索均无法为具有特定依赖模式的一类概率模型学习到正确的结构。
• 失败的原因在于局部搜索步骤无法解决该模型类别中固有的全局结构依赖。
• 即使使用贝叶斯或MDL等最优评分度量，单链接搜索仍可能收敛到错误的网络结构。
• 该研究证明，当使用单链接搜索学习此类模型时，可能发生推理错误。
• 结果表明，单链接搜索在可能存在此类依赖模式的领域中是不足的。
• 作者结论认为，当先验知识无法排除问题模型类别时，必须采用多链接前瞻或替代启发式方法。