[论文解读] Dynamic Bayesian Multinets

Jeff Bilmes|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用 126

一句话总结

本文提出了动态贝叶斯多网络（Dynamic Bayesian Multinets），这是一种判别式建模框架，利用马尔可夫链状态来定义序列数据中时间局部的条件独立结构。通过应用信息论准则和一种新颖的结构学习启发式方法，该方法学习到稀疏的、与类别相关的网络结构，在中等词汇量的孤立词语音识别任务中，其性能优于隐马尔可夫模型（HMMs）和标准动态贝叶斯网络（DBNs），在参数数量相近的情况下实现了更高的分类准确率。

ABSTRACT

In this work, dynamic Bayesian multinets are introduced where a Markov chain state at time t determines conditional independence patterns between random variables lying within a local time window surrounding t. It is shown how information-theoretic criterion functions can be used to induce sparse, discriminative, and class-conditional network structures that yield an optimal approximation to the class posterior probability, and therefore are useful for the classification task. Using a new structure learning heuristic, the resulting models are tested on a medium-vocabulary isolated-word speech recognition task. It is demonstrated that these discriminatively structured dynamic Bayesian multinets, when trained in a maximum likelihood setting using EM, can outperform both HMMs and other dynamic Bayesian networks with a similar number of parameters.

研究动机与目标

• 开发一种判别式动态图模型，以捕捉序列数据中的局部时间依赖性。
• 通过信息论准则实现稀疏的、与类别相关的网络结构，以提升分类性能。
• 提供一种可扩展的替代方案，用于HMMs和标准动态贝叶斯网络，在参数数量相近的情况下实现性能提升。
• 在真实世界的孤立词语音识别任务上评估该模型的性能。

提出的方法

• 该模型使用马尔可夫链来定义每个时间点t周围的局部时间条件独立性模式。
• 条件独立性结构由时间t处隐藏马尔可夫链的状态决定。
• 信息论准则函数（如互信息）用于引导稀疏、判别式网络结构的学习。
• 提出一种新的结构学习启发式方法，以优化网络拓扑结构，实现对类别后验概率的近似。
• 通过在序列数据上使用期望最大化（EM）算法进行最大似然训练。
• 所得到的动态贝叶斯多网络被应用于中等词汇量的孤立词语音识别任务。

实验结果

研究问题

• RQ1 具有时间局部条件独立性结构的动态贝叶斯网络是否能提升序列数据上的分类性能？
• RQ2 信息论准则是否能有效指导动态设置下稀疏、判别式网络结构的学习？
• RQ3 在参数数量相近的情况下，判别式结构的动态贝叶斯多网络与HMMs和标准DBNs相比性能如何？
• RQ4 所提出的结构学习启发式方法是否能获得对类别后验概率更优的近似？

主要发现

• 所提出的动态贝叶斯多网络在孤立词语音识别任务中，优于具有相似参数数量的HMMs和其他动态贝叶斯网络。
• 判别式结构模型对类别后验概率的近似更优，从而提升了分类性能。
• 使用信息论准则可得到稀疏的、与类别相关的网络结构，这些结构在序列分类任务中表现有效。
• 新提出的结构学习启发式方法成功识别出适用于给定任务的最优网络拓扑结构。