[论文解读] Generic identification of binary-valued hidden Markov processes

Alexander Schönhuth|arXiv (Cornell University)|Jan 19, 2011

Mass Spectrometry Techniques and Applications被引用 1

一句话总结

本文提出了一种通用的、基于代数统计的二值隐马尔可夫过程（HMPs）识别问题的算法解法。通过证明此类HMP的概率分布位于行列式代数簇上，作者提供了一种方法，可仅使用线性代数算法，判断给定有限长度的分布是否源自具有 d ≤ (n+1)/2 个隐藏状态的HMP，并可唯一重构其参数（至隐藏状态排列等价类）。

ABSTRACT

The generic identification problem is to decide whether a stochastic process $(X_t)$ is a hidden Markov process and if yes to infer its parameters for all but a subset of parametrizations that form a lower-dimensional subvariety in parameter space. Partial answers so far available depend on extra assumptions on the processes, which are usually centered around stationarity. Here we present a general solution for binary-valued hidden Markov processes. Our approach is rooted in algebraic statistics hence it is geometric in nature. We find that the algebraic varieties associated with the probability distributions of binary-valued hidden Markov processes are zero sets of determinantal equations which draws a connection to well-studied objects from algebra. As a consequence, our solution allows for algorithmic implementation based on elementary (linear) algebraic routines.

研究动机与目标

• 在不假设平稳性或其他限制性假设的前提下，解决二值隐马尔可夫过程的通用识别问题。
• 为具有 d ≤ (n+1)/2 个隐藏状态的HMP提供有限识别问题的算法解法。
• 建立HMP分布与行列式代数簇之间的联系，从而实现几何与计算处理。
• 提供一个完整且通用的解法，适用于除低维参数配置集合外的所有情况。
• 为通过理想理论刻画其关联簇的方式识别HMP奠定代数几何基础工具。

提出的方法

• 将HMP建模为代数统计模型，将其概率分布表示为维度为 d² + d − 1 的实仿射空间中的点。
• 将所有有效HMP分布的集合刻画为代数簇 Nd ⊂ ℝ^{d²+d−1}，其定义为行列式方程的零点集。
• 利用维数论证表明 Nd 的维数低于完整参数空间，意味着其在通用意义下为零测集。
• 应用基于线性代数的算法（如秩条件）来检验观测分布 P 是否属于 Nd 的补集。
• 利用 HMP 阶数为 d 时，其分布由长度为 2d−1 的字符串唯一确定的性质，实现有限长度推断。
• 利用理想论与集合理论结果（如引理6.12与定理6.10）证明：在二元字母表下，有限过程与HMP的簇完全一致。

实验结果

研究问题

• RQ1 是否可以在不假设平稳性或其他结构性约束的前提下，解决二值HMP的通用识别问题？
• RQ2 二值HMP的概率分布背后的代数几何结构是什么？
• RQ3 是否存在一个有限的、算法化的判别准则，用于判断给定有限长度的分布是否源自具有 d ≤ (n+1)/2 个隐藏状态的隐马尔可夫过程？
• RQ4 在二元情况下，有限过程与HMP的代数簇之间有何关系？
• RQ5 能否仅使用线性代数方法，从有限长度分布中唯一重构二值HMP的参数？

主要发现

• 所有由具有 d 个隐藏状态的二值HMP生成的概率分布构成一个行列式代数簇 Nd，其维数严格小于 d² + d − 1。
• 有限识别问题的解法是算法化的，且仅依赖于基本的线性代数运算（如秩计算）。
• 对于任意分布 P:Σⁿ→[0,1]，其中 |Σ|=2 且 d ≤ (n+1)/2，该算法可正确判断 P 是否由 d 个隐藏状态的HMP生成，至多忽略一个参数的零测集。
• 当 P 为HMP分布时，推断出的参数在隐藏状态排列意义下唯一。
• 在二元字母表下，有限过程与HMP的簇完全一致，这使得可利用理想理论刻画来建立主要结果。
• 该方法通过将原始通用识别问题（问题1.1）约化为具有算法可判定性的有限长度推断任务，从而提供了该问题的完整解法。