[论文解读] Improving the Performance of the LSTM and HMM Models via Hybridization

Larkin Liu, Yu‐Chung Lin+1 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 21被引用 3

一句话总结

本文提出一种混合方法，利用隐马尔可夫模型（HMM）与长短期记忆（LSTM）网络之间的结构相似性，以提升语言建模性能。通过分析共享的隐藏状态动态，研究表明，更简单的HMM能够有效近似LSTM，尤其是在隐藏状态数量较少时，提供一种计算效率更高的替代方案，且精度损失可忽略不计。

ABSTRACT

Language models based on deep neural networks and traditional stochastic modelling have become both highly functional and effective in recent times. In this work, a general survey into the two types of language modelling is conducted. We investigate the effectiveness of the Hidden Markov Model (HMM), and the Long Short-Term Memory Model (LSTM). We analyze the hidden state structures common to both models, and present an analysis on structural similarity of the hidden states, common to both HMM's and LSTM's. We compare the LSTM's predictive accuracy and hidden state output with respect to the HMM for a varying number of hidden states. In this work, we justify that the less complex HMM can serve as an appropriate approximation of the LSTM model.

研究动机与目标

• 探究HMM与LSTM在其隐藏状态表示中的结构相似性。
• 评估不同隐藏状态数量下HMM与LSTM的预测精度和隐藏状态输出。
• 确定更简单的HMM是否可作为更复杂LSTM模型的可行近似。
• 识别HMM在语言建模任务中可匹配或接近LSTM性能的条件。

提出的方法

• 对HMM与LSTM的隐藏状态结构进行对比分析，以识别其状态动态中的共性。
• 在不同隐藏状态数量下，采用一致的实验设置评估两种模型的预测精度和隐藏状态输出。
• 利用结构相似性分析，评估HMM在在多大程度上能模拟LSTM的行为。
• 在语言建模任务上对两种模型的性能进行基准测试，以量化近似的质量。

实验结果

研究问题

• RQ1 HMM与LSTM的隐藏状态结构在功能相似性方面如何比较？
• RQ2 在不同隐藏状态数量下，HMM在多大程度上能近似LSTM的预测性能？
• RQ3 在语言建模中用HMM替代LSTM时，模型复杂度与性能之间的权衡如何？
• RQ4 在何种条件下，HMM可作为LSTM模型的有效替代品？

主要发现

• HMM与LSTM的隐藏状态动态在时间依赖性方面表现出显著的结构相似性。
• 当隐藏状态数量适切调整时，HMM可实现与LSTM相当的预测精度。
• 更简单的HMM架构能够有效近似LSTM模型，尤其在低至中等隐藏状态范围内表现更优。
• 本研究证明，HMM可作为语言建模中LSTM的计算高效替代方案，且性能下降可忽略不计。