[论文解读] Learning Latent Tree Graphical Models

Myung Jin Choi, Vincent Y. F. Tan+2 more|arXiv (Cornell University)|Sep 14, 2010

Natural Language Processing Techniques被引用 24

一句话总结

本文提出两种一致且计算高效的算法——递归分组与CLGrouping，用于从未观测节点不一定是叶节点的观测变量中学习最小化隐变量树图模型。CLGrouping通过首先在观测变量上构建一个Chow-Liu树来引导后续的递归分组，从而提升准确性，在温和条件下实现了对数样本复杂度和结构一致性。

ABSTRACT

We study the problem of learning a latent tree graphical model where samples are available only from a subset of variables. We propose two consistent and computationally efficient algorithms for learning minimal latent trees, that is, trees without any redundant hidden nodes. Unlike many existing methods, the observed nodes (or variables) are not constrained to be leaf nodes. Our first algorithm, recursive grouping, builds the latent tree recursively by identifying sibling groups using so-called information distances. One of the main contributions of this work is our second algorithm, which we refer to as CLGrouping. CLGrouping starts with a pre-processing procedure in which a tree over the observed variables is constructed. This global step groups the observed nodes that are likely to be close to each other in the true latent tree, thereby guiding subsequent recursive grouping (or equivalent procedures) on much smaller subsets of variables. This results in more accurate and efficient learning of latent trees. We also present regularized versions of our algorithms that learn latent tree approximations of arbitrary distributions. We compare the proposed algorithms to other methods by performing extensive numerical experiments on various latent tree graphical models such as hidden Markov models and star graphs. In addition, we demonstrate the applicability of our methods on real-world datasets by modeling the dependency structure of monthly stock returns in the S&P index and of the words in the 20 newsgroups dataset.

研究动机与目标

• 开发一致且高效的算法，用于学习仅部分变量可观测的最小化隐变量树图模型。
• 通过允许可观测变量在隐变量树层次结构中占据任意位置（而不仅限于叶节点），克服先前方法的局限性。
• 通过引入一个全局预处理步骤来引导局部递归分组，从而提升学习的准确性和效率。
• 建立结构一致性和参数一致性的理论保证，同时具备有利的样本复杂度与计算复杂度。
• 在多种模型（包括隐马尔可夫模型、星型图和真实世界数据集如S&P股票收益与20 Newsgroups）上展示该方法的有效性。

提出的方法

• 递归分组通过使用变量三元组之间的信息距离识别兄弟组，自底向上构建隐变量树。
• CLGrouping首先在可观测变量上构建一个Chow-Liu树，以识别在拓扑上接近的组，随后在更小的子集上引导后续的递归分组。
• 信息距离从经验数据中估计，并用作结构学习的充分统计量，适用于离散与高斯模型。
• 递归分组中采用松弛阈值以确保一致性，阈值基于真实信息距离的统一有界性进行选择。
• 引入算法的正则化变体，用于学习任意分布的隐变量树近似。
• 理论分析利用集中不等式（如Chernoff界）证明误差概率呈指数衰减，从而得出对数样本复杂度。

实验结果

研究问题

• RQ1 当仅部分变量可观测时，是否可以一致地学习隐变量树图模型，而无需将可观测节点限制为叶节点？
• RQ2 全局预处理步骤如何提升递归隐变量树学习的准确性和效率？
• RQ3 基于信息距离的方法学习隐变量树模型的样本复杂度是多少？是否可以在可观测变量数量上实现对数上界？
• RQ4 在何种条件下参数估计是一致的？结构一致性如何蕴含风险一致性？
• RQ5 在多种模型与真实世界数据上，所提出算法与现有方法相比在准确性和鲁棒性方面表现如何？

主要发现

• 在有效深度恒定的假设下，CLGrouping实现了结构一致性，样本复杂度为O(log m)，其中m为可观测变量数量。
• 递归分组算法在结构与参数上均一致，误差概率随样本数量呈指数衰减。
• 对于高斯模型与对称离散模型，由于信息距离与模型参数之间存在一一对应关系，结构一致性可推出风险一致性。
• 大量数值实验表明，CLGrouping与递归分组在隐马尔可夫模型、星型图与完全树结构上均显著优于现有方法。
• 该算法在建模月度S&P 500股票收益中的真实世界依赖关系以及20 Newsgroups数据集中词共现关系方面表现良好，展现出实际应用价值。
• 算法的正则化版本即使在真实数据分布并非精确树结构时，也能提供稳定的隐变量树近似。