[論文レビュー] Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization

Chang Liu, Yacine Ouzrout+2 more|arXiv (Cornell University)|Nov 7, 2018

Web Data Mining and Analysis参考文献 13被引用数 4

ひとこと要約

本稿では、従来の Baum-Welch アルゴリズムの局所最適解への陥落を回避するため、制約付き PSO を用いて HMM パラメータを最適化する粒子群最適化に基づく隠れマルコフモデル（PSOHMM）を提案する。再正規化および再マッピング機構を導入することで、統計的制約を強制しつつ、BWHMM よりも高速な収束と優れた解の品質を達成する。

ABSTRACT

As one of Bayesian analysis tools, Hidden Markov Model (HMM) has been used to in extensive applications. Most HMMs are solved by Baum-Welch algorithm (BWHMM) to predict the model parameters, which is difficult to find global optimal solutions. This paper proposes an optimized Hidden Markov Model with Particle Swarm Optimization (PSO) algorithm and so is called PSOHMM. In order to overcome the statistical constraints in HMM, the paper develops re-normalization and re-mapping mechanisms to ensure the constraints in HMM. The experiments have shown that PSOHMM can search better solution than BWHMM, and has faster convergence speed.

研究の動機と目的

• 隠れマルコフモデル（HMM）パラメータ推定における Baum-Welch アルゴリズムのグローバル最適解の探索という制限を解消すること。
• HMM に内在する統計的制約を統合した、画期的な最適化フレームワークを構築すること。
• メタヒューティック最適化を用いて、HMM パラメータ学習の収束速度と解の品質を向上させること。
• 再マッピングおよび再正規化を用いた確率的制約の強制により、最適化された HMM パラメータが有効であることを保証すること。

提案手法

• ベイズ・ウェルチの反復的期待最大化手法に代わり、粒子群最適化（PSO）を用いて最適な HMM パラメータを探索する。
• HMM の遷移確率および出力確率に必要な有効な確率単体空間に粒子の位置を射影する再マッピング機構を導入する。
• 各 PSO イテレーション後に遷移行列および出力行列における制約違反を是正するために再正規化技術を適用する。
• 境界条件およびペナルティ関数を用いて探索空間を制限し、HMM パラメータの確率的妥当性を維持する。
• 観測系列の対数尤度に基づくフィットネス関数を用いて、PSO 粒子の更新を誘導する。
• 制約処理を PSO アルゴリズムに直接統合し、最適化全体を通して妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 粒子群最適化は、確率分布の統計的制約を尊重しながら、HMM パラメータを効果的に最適化できるか？
• RQ2 PSOHMM は、標準的な Baum-Welch アルゴリズムと比較して、より高速に収束し、より高い対数尤度スコアを達成できるか？
• RQ3 再マッピングおよび再正規化は、PSO 最適化中における HMM パラメータの有効性を保つのにどの程度効果的か？
• RQ4 複雑な系列モデリングタスクにおいて、PSOHMM は Baum-Welch よりも局所最適解に陥りにくいか？

主な発見

• PSOHMM は、テスト系列における対数尤度スコアが高いため、BWHMM よりも優れた解の品質を達成する。
• PSOHMM は、反復的 Baum-Welch アルゴリズムと比較して、より高速な収束速度を示す。
• 再マッピングおよび再正規化機構は、最適化全体を通して HMM パラメータの確率的制約を効果的に維持した。
• 提案された制約処理技術は、無効な確率行列の発生を防止し、最適化された HMM の有効性を保証した。
• 実験的結果により、PSOHMM が収束速度および最終的な解の品質の両面で BWHMM を上回ることが確認された。
• PSO と HMM パラメータ学習の統合により、従来の EM に基づく手法に対する強固な代替手段が得られた。