[论文解读] Comparative Analysis of the Hidden Markov Model and LSTM: A Simulative Approach

Manie Tadayon, Greg Pottie|arXiv (Cornell University)|Aug 9, 2020

Time Series Analysis and Forecasting被引用 4

一句话总结

本文使用不同复杂度水平的合成数据，对比了隐马尔可夫模型（HMM）与长短期记忆（LSTM）网络在时间序列预测中的表现。结果表明，在标注数据有限的情况下，无监督和有监督HMM均优于LSTM，且HMM所需参数更少，在一阶马尔可夫假设被违反时仍能保持较强的准确性。

ABSTRACT

Time series and sequential data have gained significant attention recently since many real-world processes in various domains such as finance, education, biology, and engineering can be modeled as time series. Although many algorithms and methods such as the Kalman filter, hidden Markov model, and long short term memory (LSTM) are proposed to make inferences and predictions for the data, their usage significantly depends on the application, type of the problem, available data, and sufficient accuracy or loss. In this paper, we compare the supervised and unsupervised hidden Markov model to LSTM in terms of the amount of data needed for training, complexity, and forecasting accuracy. Moreover, we propose various techniques to discretize the observations and convert the problem to a discrete hidden Markov model under stationary and non-stationary situations. Our results indicate that even an unsupervised hidden Markov model can outperform LSTM when a massive amount of labeled data is not available. Furthermore, we show that the hidden Markov model can still be an effective method to process the sequence data even when the first-order Markov assumption is not satisfied.

研究动机与目标

• 评估并比较HMM与LSTM在时间序列预测中的性能、数据效率及模型复杂度。
• 探究在标注数据稀缺时，无监督HMM是否能与有监督深度学习模型（如LSTM）达到相当的预测精度。
• 开发并测试将连续观测离散化的方法，以将连续HMM转换为离散HMM，从而提升训练效率与可解释性。
• 评估HMM在非平稳与非马尔可夫条件下的鲁棒性，即状态依赖关系超出单步时间间隔的情况。
• 为基于模型的（HMM）与数据驱动的（LSTM）方法之间的权衡提供实证证据，包括数据需求、参数数量与预测精度的关系。

提出的方法

• 生成具有不同动态贝叶斯网络（DBN）结构的合成时间序列数据，包括违反一阶马尔可夫假设的情形。
• 采用期望最大化（EM）算法实现离散HMM（DHMM）与连续HMM（CHMM）的无监督与有监督训练。
• 提出一种基于直方图分箱的连续观测离散化策略，适用于平稳与非平稳场景。
• 训练多种深度与宽度各异、超参数（如初始学习率、批量大小）不同的LSTM架构，以确保公平比较。
• 在不同训练数据比例（0.001 至 0.8）与样本量下评估模型，测量预测准确率与可训练参数数量。
• 使用AIC/BIC等模型选择准则及多次随机初始化，以缓解HMM中EM算法收敛问题。

实验结果

研究问题

• RQ1 当标注训练数据有限时，无监督HMM是否能实现与LSTM相当或更优的预测准确率？
• RQ2 HMM的可训练参数数量与LSTM相比如何？这对模型可解释性与数据效率有何影响？
• RQ3 当一阶马尔可夫假设被违反时（如存在二阶或更高阶状态依赖），HMM的性能能维持到何种程度？
• RQ4 所提出的观测离散化方法在将连续HMM转换为离散HMM时，是否能有效避免显著的准确率损失？
• RQ5 在何种条件下，有监督HMM能在序列数据建模中超越深度学习模型（如LSTM）？

主要发现

• 在训练数据有限时，无监督HMM优于LSTM：在Case IV中，使用8,000个样本时，HMM达到60.8%的准确率，而LSTM仅在32,000个样本时达到82.97%的准确率。
• 有监督DHMM在Case IV中仅用32,000个训练样本即达到83.89%的准确率，优于所有相同数据量下的LSTM变体。
• 即使仅使用40个样本（0.001比例），有监督DHMM仍达到50.91%的准确率，而LSTM下降至35.07%，凸显HMM在数据效率上的优势。
• HMM所需参数远少于LSTM——HMM为35个，LSTM为4,484至12,804个，使其更具可解释性，并在小样本下更不易过拟合。
• 离散化HMM（DHMM）在性能上与连续HMM（CHMM）相当：在相同条件下，无监督DHMM达到64.17%的准确率（CHMM为68.4%）。
• 即使在违反马尔可夫假设的情况下（Case IV），HMM仍具有效性：有监督DHMM在4,000个样本时达到83.11%的准确率，优于LSTM在相同数据量下的80.70%。