[论文解读] Closed-Form Learning of Markov Networks from Dependency Networks

Daniel Lowd|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 6

一句话总结

本文提出一种闭式方法，将依赖网络（DNs）转换为马尔可夫网络（MNs），在DNs一致时实现快速且精确的结构学习，在不一致时实现改进的近似。该方法利用DNs中的条件分布构建MNs，无需迭代优化，相比传统方法实现数量级的速度提升，同时在12个基准数据集上保持或提高了准确性。

ABSTRACT

Markov networks (MNs) are a powerful way to compactly represent a joint probability distribution, but most MN structure learning methods are very slow, due to the high cost of evaluating candidates structures. Dependency networks (DNs) represent a probability distribution as a set of conditional probability distributions. DNs are very fast to learn, but the conditional distributions may be inconsistent with each other and few inference algorithms support DNs. In this paper, we present a closed-form method for converting a DN into an MN, allowing us to enjoy both the efficiency of DN learning and the convenience of the MN representation. When the DN is consistent, this conversion is exact. For inconsistent DNs, we present averaging methods that significantly improve the approximation. In experiments on 12 standard datasets, our methods are orders of magnitude faster than and often more accurate than combining conditional distributions using weight learning.

研究动机与目标

• 为解决马尔可夫网络（MN）结构学习的高计算成本问题，该问题在实践中限制了可扩展性。
• 解决依赖网络（DNs）中条件分布不一致的问题，这些冲突可能导致推理质量差。
• 开发一种方法，结合DN学习的速度与MN推理的兼容性。
• 提供一种从DNs到MNs的闭式转换方法，尽可能保持概率一致性，当无法保持时则改进近似。

提出的方法

• 该方法通过将条件分布聚合为联合概率分布，推导出将DN转换为马尔可夫网络的闭式解。
• 采用加权平均方案处理不一致的DNs，最小化DN的条件分布与所得MN之间的差异。
• 该方法将MN的势函数表示为DN条件概率的函数，避免迭代优化。
• 应用归一化过程，确保所得MN表示一个有效的概率分布。
• 该方法支持精确转换（当DNs一致时）和近似转换（当不一致时），使用条件分布的凸组合。
• 该转换计算高效，仅需矩阵运算，无需结构搜索或评分。

实验结果

研究问题

• RQ1 是否可以无需迭代学习，以闭式方法将依赖网络转换为马尔可夫网络？
• RQ2 如何对DN中不一致的条件分布进行近似，以形成有效且有用的马尔可夫网络？
• RQ3 与MN中的权重学习或结构搜索相比，所提方法在速度和准确性上的性能提升如何？
• RQ4 当DN一致时，闭式转换是否能保持原始DN的概率语义？
• RQ5 该方法在具有复杂依赖关系的真实数据集上的可扩展性和性能表现如何？

主要发现

• 所提方法在12个标准数据集上的学习速度比传统MN结构学习方法快几个数量级。
• 当DN一致时，转换生成的MNs为精确表示，无近似误差。
• 对于不一致的DNs，基于平均的方法相比标准权重学习技术显著提升了近似质量。
• 尽管避免了迭代优化，该方法的预测准确性通常高于权重学习。
• 闭式方法与标准MN推理算法保持兼容，支持高效的概率推理。
• 实证结果表明，该方法具有良好的可扩展性，并在基准数据集上同时优于基线方法在速度和准确性方面。