[論文レビュー] Minimal Realization Problems for Hidden Markov Models

Qingqing Huang, Rong Ge+2 more|arXiv (Cornell University)|Nov 13, 2014

Tensor decomposition and applications参考文献 19被引用数 4

ひとこと要約

この論文は、有限長の出力文字列から隠れマルコフモデル（HMM）の最小実現を効率的に求めるためのアルゴリズムを提案する。スペクトル的およびテンソル分解手法を活用し、測度ゼロの集合を除くほぼすべてのHMMに対して、$\mathcal{O}(\log_d k)$ の窓サイズを用いて、最小の準HMMおよび最小のHMM実現を多項式時間で計算可能であることを示している。これにより、一般的な場合においてHMMの学習と準HMMの学習の計算複雑度が同等であることが確立される。

ABSTRACT

Consider a stationary discrete random process with alphabet size d, which is assumed to be the output process of an unknown stationary Hidden Markov Model (HMM). Given the joint probabilities of finite length strings of the process, we are interested in finding a finite state generative model to describe the entire process. In particular, we focus on two classes of models: HMMs and quasi-HMMs, which is a strictly larger class of models containing HMMs. In the main theorem, we show that if the random process is generated by an HMM of order less or equal than k, and whose transition and observation probability matrix are in general position, namely almost everywhere on the parameter space, both the minimal quasi-HMM realization and the minimal HMM realization can be efficiently computed based on the joint probabilities of all the length N strings, for N > 4 lceil log_d(k) rceil +1. In this paper, we also aim to compare and connect the two lines of literature: realization theory of HMMs, and the recent development in learning latent variable models with tensor decomposition techniques.

研究の動機と目的

• 有限長の文字列からの観測された連関出力確率を再現する最小の順序のHMMを求める最小実現問題に取り組む。
• HMMの実現理論を、最近の潜在変数モデルの学習に向けたスペクトル的手法と結びつける。
• 測度ゼロの集合を除くほぼすべてのHMMに対して、最小の準HMMおよび最小のHMM実現が、それぞれ効率的に計算可能であることを確立する。
• 有限サンプルおよび推定誤差の条件下でのHMM実現の計算的・情報的・統計的複雑度を分析する。

提案手法

• 長さ$N$の文字列の連関確率を低ランクテンソルとして表現するため、HMMの再帰的構造を活用してスペクトル分解を適用する。
• 連関確率テンソルのランク構造的分解から、最小HMMパラメータ（遷移行列および観測行列）をテンソル分解を用いて回復する。
• 行列因子分解技術を用いる：フルランクの場合、因子$A$、$B$、$C$から遷移行列および観測行列を疑似逆行列を用いて回復する。
• アルゴリズム1を用いて最小の準HMM実現を、アルゴリズム4を用いてHMM実現を実行する。両者ともランク条件およびテンソルの一意性に依存する。
• ランダム化された検証（アルゴリズム2）を用いて、テンソル分解が列の順列を除いて一意であるかどうかを確認し、一般のHMMに対して正しさを保証する。
• フル列ランクの仮定の下で、$X^\dagger = (X^\top X)^{-1}X^\top$ を用いて、因子行列から$Q$および$O$を回復する。

実験結果

リサーチクエスチョン

• RQ1 ほぼすべてのHMMに対して、有限長の出力文字列の連関確率から最小の順序HMMを効率的に再構成できるか？
• RQ2 一般のHMMに対して、$\mathcal{P}^{(N)}$ から $\mathcal{P}^{(\infty)}$ の完全な連関分布を回復するために必要な最小の窓サイズ$N$は何か？
• RQ3 一般設定下で、最小HMMの学習の計算複雑度は、最小準HMMの学習のそれと比べてどの程度か？
• RQ4 有限サンプルから$\mathcal{P}^{(N)}$ が推定される場合、提案されたアルゴリズムは推定誤差に対してロバストか？
• RQ5 遷移行列がフルランクでない場合、一般条件下でテンソル分解はHMMパラメータを一意に回復できるか？

主な発見

• 一般位置に置かれたHMM（測度ゼロの集合を除く）に対して、最小の準HMM実現は$N = 2n+1$（$n > 8\lceil\log_d k\rceil$）の窓サイズを用いて計算可能であり、$\mathcal{P}^{(\infty)}$ の回復が保証される。
• 最小のHMM実現は、$d$および$k$に関して多項式時間で計算可能であり、窓サイズ$N = \mathcal{O}(\log_d k)$ を用いる。これにより、準HMM学習と同等の複雑度が確立される。
• 遷移行列$Q$がフル列ランクである場合、$Q = (O \odot A^{(n-1)})^\dagger A$ または $Q = O^\dagger A^{(1)}$ を用いて、疑似逆行列操作により$Q$および$O$を回復できる。
• ランクが不足する場合（$\text{rank}(Q) < k$）の退化HMMに対しても、アルゴリズム4は、ランク不足部分集合のほとんどすべてのインスタンスに対して確率1で正しい分解を回復する。
• 一般のHMMに対して、テンソル分解は列の順列を除いて一意である確率が1であり、信頼できるパラメータ回復が可能である。
• 準HMMおよびHMMの両方のアルゴリズムとも、$d$および$k$に関して多項式時間および多項式サンプル複雑度を達成しており、一般HMMの効率的学習が確認される。