[论文解读] Guaranteed Scalable Learning of Latent Tree Models

Furong Huang, U. N. Niranjan+4 more|CaltechAUTHORS (California Institute of Technology)|Jun 18, 2014

Bayesian Modeling and Causal Inference参考文献 16被引用 4

一句话总结

本文提出了一种保证收敛性且可扩展的隐变量树模型学习方法，通过分治框架整合结构与参数估计。该方法利用张量分解与矩方法，实现参数一致恢复，计算复杂度为 log(p)，并行计算时间复杂度为 O(log p)，在离散型、高斯型及高斯混合模型中，结构与参数估计的样本复杂度均为 log(k)。

ABSTRACT

We present an integrated approach for structure and parameter estimation in latent tree graphical models. Our overall approach follows a "divide-and-conquer" strategy that learns models over small groups of variables and iteratively merges onto a global solution. The structure learning involves combinatorial operations such as minimum spanning tree construction and local recursive grouping; the parameter learning is based on the method of moments and on tensor decompositions. Our method is guaranteed to correctly recover the unknown tree structure and the model parameters with low sample complexity for the class of linear multivariate latent tree models which includes discrete and Gaussian distributions, and Gaussian mixtures. Our bulk asynchronous parallel algorithm is implemented in parallel and the parallel computation complexity increases only logarithmically with the number of variables and linearly with dimensionality of each variable.

研究动机与目标

• 解决隐变量树模型中结构与参数估计缺乏一致性、可扩展性及可并行化的问题。
• 克服现有方法中结构学习与参数估计之间的串行依赖关系。
• 在低样本复杂度下实现结构与参数恢复的全局一致性。
• 实现高效、批量异步并行计算，时间复杂度在变量数量上为对数级。
• 将张量分解方法扩展至具有保证对齐与隐参数恢复能力的层次化模型。

提出的方法

• 该方法采用分治策略，递归地将变量划分为局部子树以实现并行处理。
• 通过成对多变量互信息距离上的最小生成树（MST）构建进行结构学习。
• 局部递归分组（LRG）识别子树，实现可扩展、分布式的结构估计。
• 参数估计采用矩方法与高阶张量分解，以一致地恢复隐参数。
• 提出一种新型张量谱对齐程序，利用奇异值分解（SVD）和矩阵对齐技术导出的置换矩阵，实现子树间参数的对齐。
• 该算法利用稀疏矩阵运算与随机SVD，降低计算成本，尤其适用于高维稀疏数据。

实验结果

研究问题

• RQ1 是否能够以亚多项式计算复杂度一致地恢复隐变量树结构与参数？
• RQ2 张量分解方法能否扩展至具有保证对齐与恢复能力的层次化隐变量树模型？
• RQ3 是否可能在不依赖结构与参数估计串行依赖关系的前提下，实现隐变量树模型的并行可扩展学习？
• RQ4 线性多变量隐变量树模型中，结构与参数一致恢复所需的最小样本复杂度是多少？
• RQ5 如何在理论保证下高效处理稀疏且高维的数据，以实现隐变量树学习？

主要发现

• 该方法在计算复杂度 O(log p) 下实现结构与参数估计的全局一致性，显著优于当前最先进方法的 O(poly(p)) 复杂度。
• 结构一致恢复的样本复杂度为 O(log k)，通过张量分解实现参数恢复的样本复杂度也为 O(log k)，且概率极高。
• 该算法首次为隐变量树模型提供了基于矩方法与张量分解的一致参数估计保证。
• 并行计算复杂度随变量数量对数增长，随维度线性增长，支持高效的大规模学习。
• 通过使用稀疏矩阵嵌入与随机SVD，显著降低时间和内存开销，尤其适用于高维稀疏数据。
• 该框架支持通过邻域选择与BIC评分实现用户引导的结构优化，并可在不重新运行EM算法的情况下动态重估参数。