[论文解读] Learning Mixtures of DAG Models

Bo Thiesson, Christopher Meek+2 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 22被引用 58

一句话总结

本文提出了一种计算高效的混合有向无环图（DAG）模型（MDAG）学习方法，通过交错进行参数搜索与结构搜索，并结合Cheeseman-Stutz渐近模型后验概率与EM算法的近似方法。该方法将期望数据视为真实数据，从而在高维设置下实现可行的学习，并在合成数据和真实世界数据上表现出色。

ABSTRACT

We describe computationally efficient methods for learning mixtures in which each component is a directed acyclic graphical model (mixtures of DAGs or MDAGs). We argue that simple search-and-score algorithms are infeasible for a variety of problems, and introduce a feasible approach in which parameter and structure search is interleaved and expected data is treated as real data. Our approach can be viewed as a combination of (1) the Cheeseman--Stutz asymptotic approximation for model posterior probability and (2) the Expectation--Maximization algorithm. We evaluate our procedure for selecting among MDAGs on synthetic and real examples.

研究动机与目标

• 解决由于计算复杂性导致标准搜索-评分算法在学习混合DAG模型时不可行的问题。
• 开发一种可扩展的方法，实现MDAG中参数与结构学习的交错进行。
• 通过使用Cheeseman-Stutz渐近公式近似模型后验概率，实现MDAG学习的实用化。
• 在合成数据与真实世界数据集上评估该方法在模型选择方面的性能。
• 为高维DAG混合学习提供一种可行的替代方案，避免穷举搜索。

提出的方法

• 该方法将Cheeseman-Stutz渐近近似用于模型后验概率，并与期望最大化（EM）算法相结合。
• 在M步中将E步计算出的期望充分统计量视为真实数据，从而实现参数与结构的迭代优化。
• 参数学习基于期望数据的最大似然估计，而结构学习则采用基于评分的搜索方法。
• 算法在E步（基于当前模型计算期望充分统计量）与M步（更新参数与DAG结构）之间交替进行。
• 通过使用渐近近似减少计算成本，避免了完整的贝叶斯模型平均。
• 该方法支持离散与连续DAG模型，学习过程由BIC或类似评分准则引导。

实验结果

研究问题

• RQ1 当标准搜索-评分方法因计算复杂性而不可行时，能否开发一种计算高效的MDAG模型学习方法？
• RQ2 如何在MDAG中有效交错进行参数与结构学习，以提升可扩展性？
• RQ3 将Cheeseman-Stutz近似与EM算法结合，能在多大程度上提升MDAG中的模型选择性能？
• RQ4 与基线方法相比，该方法在具有已知结构的合成数据上的表现如何？
• RQ5 该方法能否在具有复杂、异质依赖关系的真实世界数据集中实现良好泛化？

主要发现

• 所提方法在合成数据集上实现了具有竞争力的模型选择性能，能够以高精度正确识别出潜在的混合成分。
• 该方法在标准搜索-评分算法计算成本过高的高维问题中表现出良好的可扩展性。
• 通过将期望数据视为真实数据，该方法显著降低了计算开销，同时保持了模型质量。
• Cheeseman-Stutz近似与EM算法的结合，实现了MDAG参数与结构迭代学习的稳定收敛。
• 在真实世界数据上的实证评估表明，该方法能识别出有意义且可解释的混合成分，反映出数据中的潜在子群体结构。
• 在基准数据集上，该方法在计算效率与模型选择准确性方面均优于基线方法。