[論文レビュー] Hidden Markov Process: A New Representation, Entropy Rate and Estimation Entropy

M. Rezaeian|ArXiv.org|Jun 27, 2006

Control Systems and Identification参考文献 6被引用数 11

ひとこと要約

本稿は、隠れマルコフ過程（HMP）のための新しい反復関数系（IFS）表現を導入し、エントロピー率と推定エントロピーの両方の厳密な解析を可能にする。状態遷移をIFSによって決定論的にモデル化することで、両エントロピーの積分表現を導出し、収束が保証される反復的数値アルゴリズムを提案する。収束は緩い条件下でも保証され、初期化が定常分布で行われるとより速くなる。

ABSTRACT

We consider a pair of correlated processes {Z_n} and {S_n} (two sided), where the former is observable and the later is hidden. The uncertainty in the estimation of Z_n upon its finite past history is H(Z_n|Z_0^{n-1}), and for estimation of S_n upon this observation is H(S_n|Z_0^{n-1}), which are both sequences of n. The limits of these sequences (and their existence) are of practical and theoretical interest. The first limit, if exists, is the entropy rate. We call the second limit the estimation entropy. An example of a process jointly correlated to another one is the hidden Markov process. It is the memoryless observation of the Markov state process where state transitions are independent of past observations. We consider a new representation of hidden Markov process using iterated function system. In this representation the state transitions are deterministically related to the process. This representation provides a unified framework for the analysis of the two limiting entropies for this process, resulting in integral expressions for the limits. This analysis shows that under mild conditions the limits exist and provides a simple method for calculating the elements of the corresponding sequences.

研究の動機と目的

• 隠れマルコフ過程（HMP）の新しい数学的表現を、反復関数系（IFS）を用いて開発し、解析的取り扱いの容易さを向上させること。
• 過去の観測から隠れ状態を推定する際の長期的不確実性としての推定エントロピーの定義と形式化。
• IFSによって誘導されるマルコフ作用素の不変測度を用いて、エントロピー率と推定エントロピーの両方の積分表現を導出すること。
• 収束保証付きの数値的に安定した反復的アルゴリズムを設計し、一般のHMPに対してこれらのエントロピーを計算すること。
• 基礎となるマルコフ連鎖の定常分布で初期化された場合、収束が速くなることを示すこと。

提案手法

• 状態遷移関数と遷移行列・観測行列から導かれる確率依存の確率を用いて定義されるIFSを用いてHMPを表現する。
• IFSによって誘導されるマルコフ作用素を介して、状態空間上の確率分布の時間発展をモデル化し、反復的に分布を更新する。
• エントロピー率と推定エントロピーを、IFSによって生成される離散的サポート点上の条件付きエントロピーの列の極限として定義する。
• IFSの不変測度を用いて、エントロピー率を積分として表現し、サポート集合と確率質量の反復的精錬により数値的に近似する。
• 各ステップで集合 $ U_n $ を生成し、確率分布 $ \dot{\mu}_n $ を更新する数値アルゴリズムを実装し、真のエントロピー値に収束させる。
• 任意の初期分布 $ \nu $ に対してアルゴリズムの収束を証明し、特に $ \nu = x^* $（基礎となるマルコフ連鎖の定常分布）で初期化された場合に収束が速くなることを示す。

実験結果

リサーチクエスチョン

• RQ1 隠れマルコフ過程は、反復関数系（IFS）を用いて同等に表現可能であり、その動的エントロピーのより厳密な解析を可能にするか？
• RQ2 過去の観測から隠れ状態を推定する際の1シンボルあたりの長期的不確実性として定義される推定エントロピーは存在するか？ また、閉形式で計算可能か？
• RQ3 IFSによって誘導されるマルコフ作用素の不変測度を用いて、エントロピー率と推定エントロピーの両方の積分表現を導出可能か？
• RQ4 一般のHMPに対して、数値的に安定で収束するアルゴリズムが存在するか？
• RQ5 初期分布の選択が、エントロピー推定アルゴリズムの収束速度にどのように影響するか？

主な発見

• 隠れマルコフ過程のエントロピー率と推定エントロピーは、プロセスのIFS表現の不変測度に沿った積分として表現可能である。
• 提案された反復的アルゴリズムは、任意の初期分布 $ \nu $ に対して真のエントロピー値に収束するが、$ \nu $ が基礎となるマルコフ連鎖の定常分布 $ x^* $ である場合に収束が速くなる。
• 初期化が $ x^* $ であるとき、条件付きエントロピー $ H(Z_n|Z_0^{n-1}) $ と $ H(S_n|Z_0^{n-1}) $ を表す列 $ H_Z^n $ と $ H_{S/Z}^n $ は単調に減少することが確認され、収束が上からのものであることが裏付けられる。
• 数値例では、基礎となるマルコフ過程のエントロピー率が $ \log_2|\mathcal{S}| $ より小さい場合、または観測行列 $ T $ の行のエントロピーが高い場合、収束が遅くなることが示された。
• モンテカルロ法やリャプノフ法に基づく手法とは異なり、決定的かつ計算可能な代替手法を提供する。これらの手法は不定性のあるまたは評価が難しい表現を生じる。
• この枠組みにより、両エントロピーの明示的な積分表現が導出可能となり、情報理論および信号処理分野におけるHMPに対する新たな解析的ツールが提供される。