[论文解读] Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions

Christian Gruhl, Bernhard Sick|arXiv (Cornell University)|May 27, 2016

Anomaly Detection Techniques and Applications参考文献 1被引用 4

一句话总结

该论文提出了一种用于具有多变量高斯输出分布的隐马尔可夫模型（HMMs）的变分贝叶斯推断框架，将二阶参数估计方法扩展至处理不确定性并防止过拟合。该方法采用共轭先验（高斯-Wishart分布），推导出参数的闭式更新方程，从而在无需处理EM方法（如Baum-Welch算法）中常见的奇异性问题的情况下实现稳健训练。

ABSTRACT

Hidden Markov Models (HMM) have been used for several years in many time series analysis or pattern recognitions tasks. HMM are often trained by means of the Baum-Welch algorithm which can be seen as a special variant of an expectation maximization (EM) algorithm. Second-order training techniques such as Variational Bayesian Inference (VI) for probabilistic models regard the parameters of the probabilistic models as random variables and define distributions over these distribution parameters, hence the name of this technique. VI can also bee regarded as a special case of an EM algorithm. In this article, we bring both together and train HMM with multivariate Gaussian output distributions with VI. The article defines the new training technique for HMM. An evaluation based on some case studies and a comparison to related approaches is part of our ongoing work.

研究动机与目标

• 开发一种基于变分贝叶斯推断的二阶训练方法，用于具有多变量高斯输出分布的HMM。
• 解决Baum-Welch算法的局限性，如对局部极小值的敏感性及参数奇异性问题。
• 在HMM参数估计中引入先验知识并量化不确定性。
• 通过贝叶斯非参数扩展实现模型复杂度的自动选择。
• 为基于训练后HMM的异常检测奠定基础。

提出的方法

• 采用变分推断框架，近似潜变量和模型参数的后验分布。
• 使用共轭先验（高斯-Wishart分布）对多变量高斯输出中的均值和精度矩阵进行联合建模。
• 通过证据下界（ELBO）优化，推导出变分参数的闭式更新方程。
• 应用一种类似期望-最大化（EM）的迭代算法，其中对隐藏状态和模型参数使用变分分布。
• 引入非信息先验用于初始化，状态转移概率初始化为均匀分布或对自环施加固定先验。
• 利用后验分布的均值和方差，通过最大后验估计（MAP）或后验期望推导点估计。

实验结果

研究问题

• RQ1 如何有效将变分贝叶斯推断适配于具有多变量高斯输出分布的HMM？
• RQ2 与点估计相比，使用二阶参数估计在HMM训练中具有哪些优势？
• RQ3 与Baum-Welch算法相比，该方法在训练过程中如何防止参数奇异性？
• RQ4 该框架能否自然支持隐藏状态数量的自动选择？
• RQ5 与标准EM方法相比，该方法在基准数据上的表现如何？

主要发现

• 所提出的变分贝叶斯HMM框架通过共轭先验和闭式更新，成功处理了多变量高斯输出分布。
• 通过使用完整的后验分布对参数不确定性进行建模，该方法有效防止了过拟合和参数奇异性。
• 使用高斯-Wishart先验使得在均值和协方差估计中能够合理地整合先验知识并实现不确定性量化。
• 由于在低方差区域具有非零先验密度，该算法避免了EM方法在方差坍缩至零时的病态行为。
• 初步结果表明，该方法实现了稳健训练，适用于时间异常检测等下游任务。