[论文解读] Learning Module Networks

Eran Segal, Dana Pe’er+3 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 30被引用 136

一句话总结

本文提出模块网络（module networks），一种贝叶斯网络的新扩展，通过将具有相同条件依赖关系的变量分组为模块，实现高维领域中的高效结构学习。通过联合学习模块划分与网络结构，该方法在基因表达和股票市场数据中相比标准贝叶斯网络，提升了泛化能力并揭示了隐藏规律。

ABSTRACT

Methods for learning Bayesian network structure can discover dependency structure between observed variables, and have been shown to be useful in many applications. However, in domains that involve a large number of variables, the space of possible network structures is enormous, making it difficult, for both computational and statistical reasons, to identify a good model. In this paper, we consider a solution to this problem, suitable for domains where many variables have similar behavior. Our method is based on a new class of models, which we call module networks. A module network explicitly represents the notion of a module - a set of variables that have the same parents in the network and share the same conditional probability distribution. We define the semantics of module networks, and describe an algorithm that learns a module network from data. The algorithm learns both the partitioning of the variables into modules and the dependency structure between the variables. We evaluate our algorithm on synthetic data, and on real data in the domains of gene expression and the stock market. Our results show that module networks generalize better than Bayesian networks, and that the learned module network structure reveals regularities that are obscured in learned Bayesian networks.

研究动机与目标

• 解决在具有大量变量的高维领域中学习贝叶斯网络结构所面临的计算与统计挑战。
• 通过识别具有相同父节点和条件概率分布的变量组（模块），发现复杂数据中的隐藏规律。
• 开发一种可扩展的学习算法，从数据中联合推断模块划分与网络结构。
• 在真实世界应用中，相比标准贝叶斯网络，提升模型的泛化能力和可解释性。

提出的方法

• 提出模块网络作为一类新型概率图模型，显式表示模块——即具有相同父节点和条件分布的变量集合。
• 使用根据模块特定条件概率表分解的联合概率分布来定义模块网络的语义。
• 开发一种学习算法，通过在优化模块分配与网络结构之间交替迭代。
• 采用一种平衡模型拟合度与复杂度的评分函数，偏好能减少过拟合的模块化结构。
• 使用贪心搜索策略，高效探索模块划分与网络拓扑的联合空间。
• 将该算法应用于合成数据和真实世界中的基因组学与金融数据集，以评估性能。

实验结果

研究问题

• RQ1 在样本有限的高维数据中，模块网络能否有效学习结构与模块划分？
• RQ2 在泛化能力和模型准确性方面，模块网络方法与标准贝叶斯网络学习相比表现如何？
• RQ3 通过识别变量组之间共享的条件依赖关系，可以揭示数据中的哪些规律？
• RQ4 联合学习模块与结构是否能产生比仅学习结构更可解释且更稳健的模型？

主要发现

• 在合成数据和真实世界数据上，模块网络在泛化能力上显著优于标准贝叶斯网络，尤其在高维设置下表现更优。
• 在基因表达数据中，学习到的模块网络结构揭示了生物学上有意义的调控模块，这些模块在标准贝叶斯网络中被掩盖。
• 在股票市场数据中，该方法识别出具有相似依赖模式的股票协同组，揭示了潜在的市场状态。
• 在合成数据集中，该算法即使在中等样本量下，也能以高精度恢复真实的底层模块结构。
• 联合学习模块与结构的方法优于先固定模块分配或先学习结构的顺序方法。