[论文解读] Improving the Performance of the LSTM and HMM Model via Hybridization

Larkin Liu, Yu-Chung Lin+1 more|arXiv (Cornell University)|Jul 9, 2019

Topic Modeling被引用 4

一句话总结

本文提出了一种混合建模方法，通过利用隐马尔可夫模型（HMM）与长短期记忆（LSTM）网络之间的结构相似性，以提升语言建模性能。通过分析隐藏状态的概率分布，作者表明HMM能够有效近似LSTM的行为，尤其是在隐藏状态维度较低时，从而通过与HMM的混合化，实现LSTM训练的潜在简化或增强。

ABSTRACT

Language models based on deep neural networks and traditional stochastic modelling have become both highly functional and effective in recent times. In this work, a general survey into the two types of language modelling is conducted. We investigate the effectiveness of the Hidden Markov Model (HMM), and the Long Short-Term Memory Model (LSTM). We analyze the hidden state structures common to both models, and present an analysis on structural similarity of the hidden states, common to both HMM's and LSTM's. We compare the LSTM's predictive accuracy and hidden state output with respect to the HMM for a varying number of hidden states. In this work, we justify that the less complex HMM can serve as an appropriate approximation of the LSTM model.

研究动机与目标

• 探究HMM与LSTM在建模序列化语言数据时的结构与功能相似性。
• 评估更简单的HMM是否可作为更复杂LSTM模型的有效近似。
• 通过混合HMM与LSTM架构，提升预测准确率与训练稳定性。
• 分析HMM与LSTM框架中隐藏状态维度与模型性能之间的关系。
• 探索利用HMM通过结构近似简化或增强LSTM训练的可行性。

提出的方法

• 作者使用余弦相似度比较相同文本序列下HMM与LSTM的隐藏状态概率分布。
• 他们训练不同隐藏状态数量（nh）的LSTM，并将其前向传播输出与HMM的隐藏状态概率进行比较。
• HMM使用Baum-Welch算法进行训练，前向与后向概率通过公式(2)与(3)定义。
• 模型性能通过交叉熵损失J(θ)进行评估，对数似然ℒ(θ) = -J(θ)作为主要指标。
• 计算HMM与LSTM隐藏状态概率向量之间的余弦距离Δ(ΨH, ΨL)，以量化结构相似性。
• 实验在多个语料库上进行，包括《战争与和平》（WP）数据集，采用小批量随机梯度下降（m=64）进行训练与验证。

实验结果

研究问题

• RQ1 HMM与LSTM的隐藏状态概率分布在多大程度上表现出结构相似性？
• RQ2 HMM在预测性能与隐藏状态动态方面是否可作为LSTM的可行近似？
• RQ3 隐藏状态数量（nh）如何影响HMM与LSTM隐藏状态之间的余弦相似度？
• RQ4 增加LSTM中的隐藏状态数量是否始终提升预测准确率，还是存在饱和点？
• RQ5 HMM与LSTM模型的混合是否能带来训练稳定性的提升或性能改进？

主要发现

• 在《战争与和平》等复杂语料中，HMM与LSTM隐藏状态概率向量之间的余弦相似度Δ(ΨH, ΨL)在15–35个隐藏状态范围内上升，表明在中等维度下结构对齐更强。
• 对于《战争与和平》数据集，交叉熵损失J(θ)从nh=5时的3.950降至nh=35时的3.359，表明模型复杂度提升后预测准确率提高。
• 尽管模型复杂度增加，LSTM性能并未单调提升；例如，WP数据集的J(θ)从nh=15时的3.678略微上升至nh=25时的3.497，表明存在非线性关系。
• 在使用GPU时，由于小层数网络的并行化机会有限，HMM在训练速度上优于LSTM。
• 作者观察到，HMM在低维情况下能有效近似LSTM行为，支持混合模型的可行性。
• 研究结论认为，HMM可作为LSTM的合适近似器，从而在混合架构中实现潜在的简化或性能提升。