[论文解读] On Triangulating Dynamic Graphical Models

Jeff Bilmes, Chris Bartels|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用 28

一句话总结

本文提出边界算法用于动态图模型（DGMs）和动态贝叶斯网络（DBNs）的三角剖分，通过将问题转化为道德化无向图而非有向结构来实现更优的消除顺序。该方法通过寻找最优分割边界，显著优于标准的逐片处理方法，从而大幅提升三角剖分质量——显著降低最大团大小和状态空间复杂度，打开此前无法触及的三角剖分空间。

ABSTRACT

This paper introduces new methodology to triangulate dynamic Bayesian networks (DBNs) and dynamic graphical models (DGMs). While most methods to triangulate such networks use some form of constrained elimination scheme based on properties of the underlying directed graph, we find it useful to view triangulation and elimination using properties only of the resulting undirected graph, obtained after the moralization step. We first briefly introduce the Graphical model toolkit (GMTK) and its notion of dynamic graphical models, one that slightly extends the standard notion of a DBN. We next introduce the 'boundary algorithm', a method to find the best boundary between partitions in a dynamic model. We find that using this algorithm, the notions of forward- and backward-interface become moot - namely, the size and fill-in of the best forward- and backward- interface are identical. Moreover, we observe that finding a good partition boundary allows for constrained elimination orders (and therefore graph triangulations) that are not possible using standard slice-by-slice constrained eliminations. More interestingly, with certain boundaries it is possible to obtain constrained elimination schemes that lie outside the space of possible triangulations using only unconstrained elimination. Lastly, we report triangulation results on invented graphs, standard DBNs from the literature, novel DBNs used in speech recognition research systems, and also random graphs. Using a number of different triangulation quality measures (max clique size, state-space, etc.), we find that with our boundary algorithm the triangulation quality can dramatically improve.

研究动机与目标

• 通过超越标准的逐片消除顺序，提升动态图模型（DGMs）和动态贝叶斯网络（DBNs）的三角剖分质量。
• 解决基于DBN有向图结构的受限消除方案的局限性。
• 在动态模型中识别最优分割边界，以最小化三角剖分过程中的填充边和团大小。
• 证明基于边界的算法可访问通过无约束或标准受限消除无法触及的三角剖分空间。
• 通过多种三角剖分质量度量，在合成数据、标准DBN和基于语音识别的DBN中评估该方法。

提出的方法

• 提出边界算法，用于计算动态模型中前向与后向接口之间的最优分割边界。
• 仅使用道德化后得到的无向图来处理三角剖分问题，忽略原始有向结构。
• 用统一的边界方法替代传统的前向与后向接口概念，证明在最优分割下，两者大小与填充边完全相同。
• 利用边界定义标准逐片消除无法实现的受限消除顺序。
• 将该方法应用于多种图类型：自创图、标准DBN、基于语音识别的新DBN以及随机图。
• 采用多种三角剖分质量度量，包括最大团大小和状态空间复杂度，以评估性能。

实验结果

研究问题

• RQ1 基于边界的三角剖分方法是否优于标准的逐片受限消除方法？
• RQ2 边界算法是否能实现无约束消除无法达到的消除顺序？
• RQ3 边界算法在DBNs和DGMs中能将最大团大小和状态空间复杂度降低多少？
• RQ4 边界算法在包括语音识别模型和随机图在内的多种图类型中表现如何？
• RQ5 在最优分割下，前向与后向接口之间的区别是否仍具有意义？

主要发现

• 边界算法在三角剖分质量上显著优于标准的逐片处理方法，最大团大小和状态空间复杂度均有明显降低。
• 该方法实现了标准无约束或受限消除无法达到的受限消除方案，显著扩展了可能的三角剖分空间。
• 在最优边界分割下，最佳前向与后向接口的大小和填充边完全相同，因此两者之间的区别变得无关紧要。
• 在文献中的标准DBN和新型语音识别模型上，边界算法持续降低最大团大小和状态空间需求。
• 在复杂模型中，尤其是语音识别模型中，三角剖分质量的提升尤为显著，状态空间复杂度被大幅降低。
• 该方法在自创图、随机图和真实世界DBN中均表现出稳健性能，证实了其通用性。