[論文レビュー] Comparative Analysis of the Hidden Markov Model and LSTM: A Simulative Approach

Manie Tadayon, Greg Pottie|arXiv (Cornell University)|Aug 9, 2020

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

この論文は、さまざまな複雑度レベルの合成データを用いて、時系列予測における隠れマルコフモデル（HMM）と長短期記憶（LSTM）ネットワークを比較している。ラベル付きデータが限られる状況では、教師ありおよび教師なしHMMがLSTMを上回ることを示しており、HMMははるかに少ないパラメータを必要としながらも、1次マルコフ仮定が破られる状況でも高い精度を維持している。

ABSTRACT

Time series and sequential data have gained significant attention recently since many real-world processes in various domains such as finance, education, biology, and engineering can be modeled as time series. Although many algorithms and methods such as the Kalman filter, hidden Markov model, and long short term memory (LSTM) are proposed to make inferences and predictions for the data, their usage significantly depends on the application, type of the problem, available data, and sufficient accuracy or loss. In this paper, we compare the supervised and unsupervised hidden Markov model to LSTM in terms of the amount of data needed for training, complexity, and forecasting accuracy. Moreover, we propose various techniques to discretize the observations and convert the problem to a discrete hidden Markov model under stationary and non-stationary situations. Our results indicate that even an unsupervised hidden Markov model can outperform LSTM when a massive amount of labeled data is not available. Furthermore, we show that the hidden Markov model can still be an effective method to process the sequence data even when the first-order Markov assumption is not satisfied.

研究の動機と目的

• HMMとLSTMの時系列予測における性能、データ効率、モデルの複雑さを評価・比較すること。
• ラベル付きデータが乏しい状況で、教師なしHMMが、LSTMのような教師ありディープラーニングモデルと同等の精度を達成できるかどうかを調査すること。
• 連続観測値を離散化する手法を提案・検証し、連続HMMを離散HMMに変換することで、学習効率と解釈可能性を向上させること。
• 状態の依存関係が1ステップを超える非定常的・非マルコフ的条件下でも、HMMの頑健性を評価すること。
• モデルベース（HMM）とデータドリブン（LSTM）アプローチの間の、データ要件、パラメータ数、予測精度のトレードオフに関する実証的証拠を提供すること。

提案手法

• 1次マルコフ仮定が破られる状況を含む、さまざまな動的ベイジアンネットワーク（DBN）構造を持つ合成時系列データを生成した。
• 期待値最大化（EM）アルゴリズムを用いて、教師ありおよび教師なしの離散HMM（DHMM）および連続HMM（CHMM）を実装した。
• ヒストグラムのビン分割に基づく連続観測値の離散化戦略を提案し、定常的および非定常的状況に適用可能であることを確認した。
• 学習率やバッチサイズなどのハイパーパrameterを変化させた複数のLSTMアーキテクチャを訓練し、公平な比較を実現した。
• 訓練データ比（0.001〜0.8）とサンプルサイズを変化させ、予測精度とトレーニング可能なパラメータ数を測定した。
• HMMのEM収束問題を軽減するため、AIC/BICなどのモデル選択基準と複数回のランダム初期化を用いた。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き学習データが限られる状況で、教師なしHMMがLSTMと同等またはそれ以上の予測精度を達成できるか？
• RQ2 HMMのトレーニング可能なパラメータ数はLSTMと比べてどの程度で、その影響がモデルの解釈可能性とデータ効率にどのように現れるか？
• RQ3 1次マルコフ仮定が破られる（例：2次以上の状態依存性がある）状況でも、HMMがどの程度の性能を維持できるか？
• RQ4 提案された観測値の離散化手法は、連続HMMを離散HMMに変換する際に顕著な精度損失を生じさせず、効果的か？
• RQ5 どのような条件下で、教師ありHMMが、LSTMのようなディープラーニングモデルを上回るか？

主な発見

• 訓練データが限られる状況では、教師なしHMMがLSTMを上回り、Case IVでは8,000サンプルで60.8%の精度を達成したのに対し、LSTMは32,000サンプルに達するまで82.97%にとどまらなかった。
• 教師ありDHMMは、Case IVで32,000件の訓練データで83.89%の精度を達成し、同じデータサイズですべてのLSTMバリアントを上回った。
• 40件の訓練サンプル（0.001の比率）でも、教師ありDHMMは50.91%の精度を達成したのに対し、LSTMは35.07%に低下し、HMMのデータ効率の高さが顕著に現れた。
• HMMはLSTMに比べてはるかに少ないパラメータ数（HMM：35 vs. LSTM：4,484〜12,804）を必要としており、小規模データでは過学習のリスクが低く、解釈性も高い。
• 離散化HMM（DHMM）は連続HMM（CHMM）と同等の性能を示し、教師なしDHMMは同じ条件下で64.17%の精度（CHMM：68.4%）を達成した。
• マルコフ仮定が破られる状況（Case IV）でも、HMMは効果的であり、教師ありDHMMは4,000件のサンプルで83.11%の精度を達成したのに対し、LSTMは同じデータサイズで80.70%にとどまった。