[论文解读] Hidden Markov Process: A New Representation, Entropy Rate and Estimation Entropy

M. Rezaeian|ArXiv.org|Jun 27, 2006

Control Systems and Identification参考文献 6被引用 11

一句话总结

本文提出了一种用于隐马尔可夫过程（HMP）的新型迭代函数系统（IFS）表示方法，实现了对两种动力学熵——熵率与估计熵——的严格分析。通过使用IFS对状态转移进行确定性建模，作者推导出两种熵的积分表达式，并提出一种收敛的数值算法，可迭代计算这些熵值，在较弱条件下保证收敛，且在以平稳分布初始化时收敛速度更快。

ABSTRACT

We consider a pair of correlated processes {Z_n} and {S_n} (two sided), where the former is observable and the later is hidden. The uncertainty in the estimation of Z_n upon its finite past history is H(Z_n|Z_0^{n-1}), and for estimation of S_n upon this observation is H(S_n|Z_0^{n-1}), which are both sequences of n. The limits of these sequences (and their existence) are of practical and theoretical interest. The first limit, if exists, is the entropy rate. We call the second limit the estimation entropy. An example of a process jointly correlated to another one is the hidden Markov process. It is the memoryless observation of the Markov state process where state transitions are independent of past observations. We consider a new representation of hidden Markov process using iterated function system. In this representation the state transitions are deterministically related to the process. This representation provides a unified framework for the analysis of the two limiting entropies for this process, resulting in integral expressions for the limits. This analysis shows that under mild conditions the limits exist and provides a simple method for calculating the elements of the corresponding sequences.

研究动机与目标

• 开发一种利用迭代函数系统（IFS）对隐马尔可夫过程进行新数学表示的方法，以提升其分析可 tractability。
• 定义并形式化估计熵的概念：即从过去观测中估计隐藏状态的长期不确定性。
• 利用IFS诱导的马尔可夫算子的不变测度，推导出熵率与估计熵的积分表达式。
• 设计一种数值稳定且收敛的迭代算法，用于计算这些熵值，并提供收敛性保证。
• 证明当初始化为底层马尔可夫链的平稳分布时，收敛速度更快。

提出的方法

• 通过由转移矩阵与观测矩阵导出的与位置相关的概率，定义由确定性状态转移函数构成的IFS，以表示HMP。
• 通过IFS诱导的马尔可夫算子建模状态空间上概率分布的演化，迭代更新分布。
• 将熵率与估计熵定义为涉及条件熵的序列的极限，表达为IFS生成的离散支撑点上的和。
• 利用IFS的不变测度，将熵率表示为积分形式，通过迭代细化支撑集与概率质量来数值逼近。
• 实现一种数值算法，每一步生成集合 $ U_n $ 并更新概率分布 $ \dot{\mu}_n $，收敛于真实熵值。
• 证明对于任意初始分布 $ \nu $，该算法均收敛，且当 $ \nu = x^* $（即底层马尔可夫链的平稳分布）时收敛速度更快。

实验结果

研究问题

• RQ1 能否通过迭代函数系统（IFS）等价表示隐马尔可夫过程，以实现对其动力学熵更严格的分析？
• RQ2 估计熵——即从过去观测中估计隐藏状态的长期每符号不确定性——是否存在？能否以闭式表达式计算？
• RQ3 能否利用IFS诱导的马尔可夫算子的不变测度，推导出熵率与估计熵的积分表达式？
• RQ4 是否存在一种数值稳定且收敛的算法，可用于一般HMP的这些熵值计算？
• RQ5 初始分布的选择如何影响熵估计算法的收敛速度？

主要发现

• 隐马尔可夫过程的熵率与估计熵可表示为IFS表示中不变测度上的积分。
• 所提出的迭代算法对任意初始分布 $ \nu $ 均收敛于真实熵值，且当 $ \nu $ 为平稳分布 $ x^* $ 时收敛速度更快。
• 当初始化于 $ x^* $ 时，表示条件熵 $ H(Z_n|Z_0^{n-1}) $ 与 $ H(S_n|Z_0^{n-1}) $ 的序列 $ H_Z^n $ 与 $ H_{S/Z}^n $ 单调递减，证实了从上方收敛。
• 数值示例表明，当底层马尔可夫过程的熵率相对于 $ \log_2|\mathcal{S}| $ 较低，或观测矩阵 $ T $ 的行具有高熵时，收敛速度较慢。
• 该方法为蒙特卡洛或李雅普诺夫方法提供了确定性且可计算的替代方案，后者常产生不确定或难以评估的表达式。
• 该框架可推导出两种熵的显式积分表达式，为信息论与信号处理中的HMP提供了新的分析工具。