[論文レビュー] Improving the Performance of the LSTM and HMM Model via Hybridization

Larkin Liu, Yu-Chung Lin+1 more|arXiv (Cornell University)|Jul 9, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、隠れマルコフモデル（HMM）と長短期記憶（LSTM）ネットワークの間の構造的類似性を活用することで、言語モデリング性能を向上させるハイブリッドモデリング手法を提案する。隠れ状態の確率分布を分析することで、著者らはHMMが、とくに隠れ状態次元が低い場合にLSTMの挙動を効果的に近似できることを示しており、HMMとLSTMのハイブリダイゼーションによって、LSTMの訓練の簡略化または向上が可能になる可能性がある。

ABSTRACT

Language models based on deep neural networks and traditional stochastic modelling have become both highly functional and effective in recent times. In this work, a general survey into the two types of language modelling is conducted. We investigate the effectiveness of the Hidden Markov Model (HMM), and the Long Short-Term Memory Model (LSTM). We analyze the hidden state structures common to both models, and present an analysis on structural similarity of the hidden states, common to both HMM's and LSTM's. We compare the LSTM's predictive accuracy and hidden state output with respect to the HMM for a varying number of hidden states. In this work, we justify that the less complex HMM can serve as an appropriate approximation of the LSTM model.

研究の動機と目的

• HMMとLSTMが逐次的な言語データをモデリングする際の構造的・機能的類似性を調査すること。
• より単純なHMMが、より複雑なLSTMモデルの有効な近似として機能できるかどうかを評価すること。
• HMMとLSTMのアーキテクチャをハイブリダイズすることで、予測精度と訓練安定性を向上させること。
• HMMおよびLSTMフレームワークにおける隠れ状態次元とモデル性能の関係を分析すること。
• HMMを用いて、構造的近似によってLSTMの訓練を簡略化または強化する可能性を検討すること。

提案手法

• 著者らは、同じテキストシーケンスを用いて、HMMとLSTMの隠れ状態確率分布のコサイン類似度を比較する。
• 異なる数の隠れ状態（nh）を用いてLSTMを学習し、その順方向プロパゲーション出力をHMMの隠れ状態確率と比較する。
• HMMは、式（2）および（3）で定義された前方確率と後方確率を用いて、 Baum-Welchアルゴリズムで学習する。
• モデル性能は交差エントロピー損失 J(θ) で評価され、対数尤度 ℒ(θ) = -J(θ) が主な指標として用いられる。
• HMMとLSTMの隠れ状態確率ベクトル間のコサイン距離 Δ(ΨH, ΨL) を計算し、構造的類似度を定量化する。
• 実験は、War and Peace（WP）データセットを含む複数のコーパスで実施され、訓練および検証にはミニバッチSGD（m=64）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 HMMとLSTMの隠れ状態確率分布は、どの程度構造的に類似しているか？
• RQ2 予測性能および隠れ状態ダイナミクスの観点から、HMMがLSTMの妥当な近似として機能できるか？
• RQ3 隠れ状態数（nh）の増加が、HMMとLSTMの隠れ状態間のコサイン類似度にどのように影響するか？
• RQ4 LSTMにおける隠れ状態数の増加は、一貫して予測精度を向上させるのか、それとも飽和点が存在するのか？
• RQ5 HMMとLSTMモデルのハイブリダイゼーションは、訓練安定性または性能の向上に寄与するか？

主な発見

• War and Peaceのような複雑なコーパスでは、HMMとLSTMの隠れ状態確率ベクトル間のコサイン類似度 Δ(ΨH, ΨL) が、15〜35の隠れ状態範囲で上昇し、中程度の次元数で構造的整合性が強まっていることが示された。
• War and Peaceデータセットでは、交差エントロピー損失 J(θ) が nh=5 のとき3.950 から nh=35 のとき3.359 に低下し、複雑性の向上に伴い予測精度が向上した。
• モデルの複雑性が増加しても、LSTMの性能が単調に向上するわけではない。例えば、WPの J(θ) は nh=15 のとき3.678 から nh=25 のとき3.497 にわずかに上昇しており、非線形的関係が示唆された。
• GPUを用いた場合、小規模な層構造のネットワークにおける並列処理の制限を考慮すると、HMMはLSTMよりも訓練速度が速い。
• 著者らは、HMMが特に次元数が低い場合にLSTM挙動を効果的に近似できることを観察しており、ハイブリッドモデルの実現可能性を支持している。
• 本研究の結論として、HMMはLSTMの適切な近似器として使用可能であり、ハイブリッドアーキテクチャにおける簡略化または性能向上の可能性を秘めている。