[論文レビュー] Finite state space non parametric Hidden Markov Models are in general identifiable

Élisabeth Gassiat, Alice Cleynen+1 more|arXiv (Cornell University)|Jun 19, 2013

Bayesian Methods and Mixture Models参考文献 23被引用数 15

ひとこと要約

この論文は、隠れマルコフ連鎖の遷移行列がフルランクであり、発生分布が線形独立である場合、有限状態の非パrametricな隠れマルコフモデル（HMM）が、状態ラベルの再ラベル化を除いて同定可能であることを確立している。著者らは、3つの連続観測からの同定可能性を証明し、非パrametricな尤度に基づく推定法を提案した。この手法は、RNA-Seq やトランスクリプトームチルインアレイ解析などの応用分野における分類性能の向上に寄与する。

ABSTRACT

In this paper, we prove that finite state space non parametric hidden Markov models are identifiable as soon as the transition matrix of the latent Markov chain has full rank and the emission probability distributions are linearly independent. We then propose several non parametric likelihood based estimation methods, which we apply to models used in applications. We finally show on examples that the use of non parametric modeling and estimation may improve the classification performances.

研究の動機と目的

• 発生分布にパラメトリックな仮定を設けない条件下で、非パrametric HMM が同定可能となる理論的条件を確立すること。
• 音声認識やゲノム分野などの応用で用いられる既存の非パrametric HMM 推定手法に理論的裏付けが不足している問題に対処すること。
• 隠れマルコフ連鎖に起因する観測変数の依存構造が、そうでない場合には同定不能な混合成分を同定可能にする仕組みを示すこと。
• 有限状態のHMMにおける発生分布および遷移行列の、一貫性のある非パrametric推定手順を提案すること。
• 実世界のデータ例において、非パrametricモデルがパラメトリックな代替手法に比べて分類性能が向上することを実証的に示すこと。

提案手法

• 遷移行列がフルランクであり、発生測度が線形独立である条件下で、3つの連続観測の分布に基づく非パrametric HMM の同定可能性を証明する。
• マルコフ連鎖の条件付き独立構造を用いる：X2 を与えたとき、X1 と X3 は独立である。これにより、(Y1,Y2,Y3) の同時分布が分解可能となる。
• 線形代数的議論を用いて、同時分布が状態の順列を除いて、発生分布および遷移行列を一意に特定できることを示す。
• カーネル密度推定と交差検証によるバンド幅選択を含む、非パrametric尤度に基づく推定手法を提案する。
• 数値的安定性および分類性能の向上を目的として尤度に正則化を導入し、交差検証またはヒューリスティック選択によりチューニングする。
• シミュレートされたRNA-Seqデータおよびアラビドキシス・タリアナのトランスクリプトームチルインアレイデータを用いた実データ応用において、カーネルベースの非パrametric密度推定を適用する。

実験結果

リサーチクエスチョン

• RQ1 有限状態の非パrametric HMM が、3つの連続観測の分布から同定可能となる条件は何か？
• RQ2 発生分布にパラメトリック族の仮定を設けない場合、隠れマルコフモデルの発生分布および遷移行列を一貫して推定できるか？
• RQ3 隠れマルコフ連鎖が誘発する依存構造が、そうでない場合には同定不能な混合成分を同定可能にするか？
• RQ4 実際の生物学的データにおいて、非パrametric推定はパラメトリックモデルに比べて分類精度が向上するか？
• RQ5 有限標本設定において、正則化は非パrametric HMM 推定の性能向上にどのような役割を果たすか？

主な発見

• 遷移行列がフルランクであり、発生分布が線形独立である限り、有限状態の非パrametric HMM は3つの連続観測の分布から同定可能である。
• 同定可能性の結果は、状態ラベルの順列を除いて成立し、混合モデルにおいて得られる最良の同定可能性である。
• RNA-Seq データを模擬したシミュレーションスタディにおいて、非パrametric尤度の正則化が、正則化なし推定器に比べて分類性能の向上をもたらした。
• トランスクリプトームチルインアレイデータの解析において、カーネル密度推定を用いた5状態非パrametric HMM は、発現なし（青色）グループを2つの明確な状態に分割し、生物学的に妥当なサブグループを明らかにした。
• 非パラメトリックモデルから推定された発生分布は、複雑で非ガウス型の形状を示しており、標準的なパラメトリック族（例えば2次元ガウス分布）では表現できないものであった。
• これらの結果は、パラメトリック仮定が不適切な場合に生じるモデル適合不良や分類誤差を回避する観点から、非パラメトリック HMM の応用価値を支持する。