[论文解读] Learning Clique Forests

Guido Previde Massara, Tomaso Aste|arXiv (Cornell University)|May 6, 2019

Statistical Methods and Inference参考文献 71被引用 4

一句话总结

本文提出了一种名为最大滤波团森林（MFCF）的新算法，通过递归使用保持拓扑不变性的团扩展算子来扩展团森林，从而从数据中学习稀疏、弦图（chordal）图形模型。该方法生成可分解的马尔可夫随机场，支持高效精确推理，在协方差选择任务中表现优于图模型Lasso和收缩方法，尤其在小样本情况下表现更优。

ABSTRACT

We propose a topological learning algorithm for the estimation of the conditional dependency structure of large sets of random variables from sparse and noisy data. The algorithm, named Maximally Filtered Clique Forest (MFCF), produces a clique forest and an associated Markov Random Field (MRF) by generalising Prim's minimum spanning tree algorithm. To the best of our knowledge, the MFCF presents three elements of novelty with respect to existing structure learning approaches. The first is the repeated application of a local topological move, the clique expansion, that preserves the decomposability of the underlying graph. Through this move the decomposability and calculation of scores is performed incrementally at the variable (rather than edge) level, and this provides better computational performance and an intuitive application of multivariate statistical tests. The second is the capability to accommodate a variety of score functions and, while this paper is focused on multivariate normal distributions, it can be directly generalised to different types of statistics. Finally, the third is the variable range of allowed clique sizes which is an adjustable topological constraint that acts as a topological penalizer providing a way to tackle sparsity at $l_0$ semi-norm level; this allows a clean decoupling of structure learning and parameter estimation. The MFCF produces a representation of the clique forest, together with a perfect ordering of the cliques and a perfect elimination ordering for the vertices. As an example we propose an application to covariance selection models and we show that the MCFC outperforms the Graphical Lasso for a number of classes of matrices.

研究动机与目标

• 开发一种通用且可扩展的方法，从数据中学习复杂网络结构，通过形成弦图确保计算可处理性。
• 通过允许任意团大小和多团分离器，推广TMFG算法，克服先前方法在结构上的刚性限制。
• 通过构建具有有界树宽的团森林，构建可分解模型，实现在图形模型中的高效精确推理。
• 提供一个灵活的框架，允许根据多样化应用（包括协方差选择和拓扑数据分析）自定义增益函数。
• 探索团森林作为持久同调和动态网络更新在演化数据中的潜在基础。

提出的方法

• MFCF算法使用保持团森林结构并确保在递归添加节点过程中保持拓扑不变性的团扩展算子。
• 通过最大化量化结构改进（如条件独立性或似然）的增益函数，将新节点连接到现有结构。
• 所得的团森林为弦图，保证可分解性，并可通过联结树算法实现高效推理。
• 该方法支持可定制的团大小和分离器多重性，从而控制模型复杂度和树宽。
• 该算法推广了普里姆的MST算法，可适配为类似克鲁斯卡尔的变体，但初步结果表明由于早期聚类导致性能次优。
• 提出一种新型的“团树目标”收缩估计器，在小样本协方差估计中表现更优。

实验结果

研究问题

• RQ1 能否设计一种通用网络学习算法，在保持弦图性和可分解性的同时，对不同数据类型和增益函数保持灵活性？
• RQ2 MFCF方法在协方差选择任务中，与图模型Lasso等成熟方法相比表现如何，特别是在小样本条件下？
• RQ3 团森林结构在支持拓扑数据分析（包括持久同调和分层网络追踪）方面的能力有多大？
• RQ4 使用团扩展算子对维持模型可分解性和实现精确推理有何影响？
• RQ5 MFCF框架能否通过剪枝或重构扩展以整合专家知识或支持动态数据更新？

主要发现

• MFCF算法在协方差选择任务中始终优于图模型Lasso和标准收缩估计器，尤其在小样本情况下表现更优。
• 所得的团森林为弦图，确保相关图形模型可分解，并可通过联结树算法实现精确推理。
• 团扩展算子保持团森林结构，支持网络的递归、拓扑不变增长。
• 该方法通过允许任意团大小和多团分离器，显著提升了结构灵活性，从而推广了TMFG。
• 所提出的“团树目标”收缩估计器在小样本设置中表现令人鼓舞，表明估计精度有所提升。
• MFCF框架支持动态更新和剪枝，因为团森林结构允许在不破坏几何结构的前提下识别可移除边。