[論文レビュー] Information Geometry Approach to Parameter Estimation in Hidden Markov Models

Masahito Hayashi|arXiv (Cornell University)|May 17, 2017

Markov Chains and Monte Carlo Methods参考文献 29被引用数 3

ひとこと要約

本稿では、$k$-memory遷移行列の射影的フィッシャー情報に基づく情報幾何学的推定量を、隠れマルコフモデル（HMM）の遷移行列推定に提案する。部分観測された$k$-ステップ履歴をモデル化し、遷移行列多様体上でEMアルゴリズムを適用することで、1イテレーションあたり$O(1)$の時間・空間計算量を達成する。漸近的推定誤差は射影的フィッシャー情報行列の逆行列に支配され、サンプルサイズ$n$に依存しない効率的かつスケーラブルな推論を可能にする。この手法により、局所的パrameterizationを用いてHMMにおける同値問題を解消し、モデル妥当性のための$χ^2$-検定を可能にする。

ABSTRACT

We consider the estimation of the transition matrix of a hidden Markovian process by using information geometry with respect to transition matrices. In this paper, only the histogram of $k$-memory data is used for the estimation. To establish our method, we focus on a partial observation model with the Markovian process and we propose an efficient estimator whose asymptotic estimation error is given as the inverse of projective Fisher information of transition matrices. This estimator is applied to the estimation of the transition matrix of the hidden Markovian process. In this application, we carefully discuss the equivalence problem for hidden Markovian process on the tangent space.

研究の動機と目的

• 従来のEMアルゴリズムがサンプルサイズ$n$の増大に伴い複雑性が増すのを避ける、スケーラブルで漸近的に最適な隠れマルコフモデル（HMM）のパrameter推定手法を開発すること。
• 特に、$n$に依存しない幾何的構造の不変性を有する、遷移行列の情報幾何学的特性、特に射影的フィッシャー情報を利用する。
• 同じプロセスを表す異なる遷移行列の同値問題を、同一のHMMを表す冗長な表現を排除する局所的パrameterizationにより解消すること。
• 特異点を含むパrameter空間においても有効な、$χ^2$-検定を用いたモデル妥当性評価ツールを提供すること。
• 提案手法が、$n$とは無関係に1イテレーションあたり定数時間・空間計算量を達成することを実証すること。

提案手法

• 完全な逐次データではなく、観測変数$Y_{i},…,Y_{i+k}$の$k$-memory連合分布のみを用いる部分観測モデルを定式化する。
• 遷移行列多様体の幾何学に基づくEMアルゴリズムを適用し、推定の不確実性を射影的フィッシャー情報行列で特徴付ける。
• $k$-memory遷移行列の曲がった指数型分布族を用いて観測分布をモデル化し、効率的な最適化を可能にする。
• 先行研究[12]のパrameterizationを用いて、同じHMMを表す非同定可能な表現を排除することで、同値問題を解消する。
• 漸近的推定誤差を射影的フィッシャー情報行列の逆行列として導出し、正則性条件下での最適性を保証する。
• 特異点を含むパrameter空間においても適用可能な$χ^2$-検定を導入し、モデル妥当性の検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 遷移行列の情報幾何学的特性を用いて、サンプルサイズ$n$に伴う複雑性の増大を回避する、効率的でスケーラブルなHMM遷移行列推定器を設計可能か？
• RQ2 HMMの部分観測モデルにおいて、射影的フィッシャー情報行列はどのように漸近的推定誤差を特徴付けるか？
• RQ3 $k$-memoryデータは、定常性と十分な$k$の下で、隠れ遷移行列$W$を一意に特定する役割を果たすか？
• RQ4 同じプロセスを表す異なる遷移行列が存在するHMMの同値問題は、局所的幾何的パrameterizationによりどのように解消可能か？
• RQ5 真のパラメータがパrameter空間の特異点付近にある場合でも、$χ^2$-検定はHMMモデルの妥当性評価に有効に用いられるか？

主な発見

• 提案手法は、固定サイズの$k$-memory表現に起因し、1EMイテレーションあたりの時間・空間計算量がサンプルサイズ$n$に依存せず$O(1)$を達成する。
• 漸近的推定誤差は、遷移行列の射影的フィッシャー情報行列の逆行列で特徴付けられ、効率性と最適性を保証する。
• 十分に大きな$k$に対して、$k$-memory連合分布は隠れ遷移行列$W$を一意に特定でき、一貫性のある推定を可能にする。
• 局所的パrameterizationにより非同定可能な表現を排除することで、HMMにおける同値問題を解消し、一意なパrameterizationを保証する。
• $χ^2$-検定をモデル妥当性評価のための実用的ツールとして提案し、候補となるHMMモデルの比較・選択を可能にする。
• 計算上の利点は顕著である：従来のEMアルゴリズムが1イテレーションあたり$O(n)$の時間・空間計算量を要するのに対し、本手法は$O(1)$の計算量を達成するが、$k$-memoryヒストグラムの計算に$O(n)$の準備コストがかかる。