[論文レビュー] Estimate exponential memory decay in Hidden Markov Model and its applications

Felix X.-F. Ye, Yi-An Ma+1 more|arXiv (Cornell University)|Oct 17, 2017

Markov Chains and Monte Carlo Methods参考文献 40被引用数 5

ひとこと要約

本稿では、確率的行列積の上位2つのリャプノフ指数の差を用いて、隠れマルコフモデル（HMM）における指数的メモリ減衰率を効率的に推定するアルゴリズムを提案する。この減衰率を活用することで、制御された誤差を伴う部分列ベースの推論が可能となり、長時間系列HMMにおける計算コストを顕著に削減する一方で、精度とスケーラビリティを維持する。

ABSTRACT

Inference in hidden Markov model has been challenging in terms of scalability due to dependencies in the observation data. In this paper, we utilize the inherent memory decay in hidden Markov models, such that the forward and backward probabilities can be carried out with subsequences, enabling efficient inference over long sequences of observations. We formulate this forward filtering process in the setting of the random dynamical system and there exist Lyapunov exponents in the i.i.d random matrices production. And the rate of the memory decay is known as $λ_2-λ_1$, the gap of the top two Lyapunov exponents almost surely. An efficient and accurate algorithm is proposed to numerically estimate the gap after the soft-max parametrization. The length of subsequences $B$ given the controlled error $ε$ is $B=\log(ε)/(λ_2-λ_1)$. We theoretically prove the validity of the algorithm and demonstrate the effectiveness with numerical examples. The method developed here can be applied to widely used algorithms, such as mini-batch stochastic gradient method. Moreover, the continuity of Lyapunov spectrum ensures the estimated $B$ could be reused for the nearby parameter during the inference.

研究の動機と目的

• 観測系列における長距離依存性に起因するHMM推論のスケーラビリティのボトル neck を解消すること。
• フィルタリング状態確率におけるメモリ減衰率を効率的かつ正確に推定する手法を開発すること。
• 最適な部分列長を特定することで、近似誤差を制御可能なミニバッチ確率的最適化をHMMに可能にすること。
• リャプノフ指数の差をメモリ減衰の代理指標として用いる理論的裏付けと数値的検証を提供すること。
• 部分列の独立性を活用することで、ミニバッチ勾配降下法などの確率的アルゴリズムのHMMへの適用可能性を拡張すること。

提案手法

• 発生確率と遷移確率から導かれるi.i.d.な確率的行列の積として、前方フィルタリングプロセスを定式化する。
• 確率的力学系理論と乗法的エルゴード定理（オセレデツの定理）を適用し、フィルタリングプロセスの長期的挙動を特徴付ける。
• ソフトマックスパラメータライゼーション後の上位2つのリャプノフ指数の差を推定するための数値的アルゴリズムを提案し、これによりメモリ減衰率を定量化する。
• 近似誤差が $ \epsilon $ 以下に抑えられるよう、部分列長 $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $ を導出する。
• リャプノフスペクトルの連続性を活用し、繰り返し推論における近接パラメータ値に対して推定された部分列長を再利用可能にする。
• 最大尤度推定のためのミニバッチ確率的勾配降下法にこの手法を統合し、1反復あたりの計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 HMMのフィルタリング状態確率におけるメモリの減衰率は、正確にどの程度の速度で進行するか？
• RQ2 上位2つのリャプノフ指数の差が、実際の状況でもこのメモリ減衰率を正確に定量化できるか？
• RQ3 部分列ベースの推論に用いるために、メモリ減衰率を効率的かつ正確に推定する方法は何か？
• RQ4 全観測後ろ向き確率を近似する際、制御された誤差 $ \epsilon $ を確保するための最適な部分列長 $ B $ は何か？
• RQ5 この手法は、HMMにおけるミニバッチ勾配降下法のような確率的推論アルゴリズムをどの程度高速化できるか？

主な発見

• HMMフィルタリングにおけるメモリ減衰率は、確率的行列積の上位2つのリャプノフ指数の差 $ \lambda_2 - \lambda_1 $ にほぼ確実に等しい。
• 誤差 $ \epsilon $ を制御するための部分列長は $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $ で与えられ、これにより効率的な部分列ベースの推論が可能になる。
• リャプノフ指数の差を推定するための提案アルゴリズムは、正確かつ効率的であり、繰り返し推論における実用的導入を可能にする。
• 数値実験の結果、1000万長の系列に対して約800万回の行列積計算で十分であり、全観測ステップの10%未満で最尤推定（MLE）に収束することが示された。
• その確率的性質のおかげで、対数尤度関数の等高線図からも、平坦領域を効果的に脱出できることを示した。
• リャプノフスペクトルの連続性のおかげで、近接するパラメータ値間で推定された部分列長を再利用可能となり、最適化の効率が向上した。