[论文解读] A generalized risk approach to path inference based on hidden Markov models

Jüri Lember, Alexey Koloydenko|arXiv (Cornell University)|Jul 21, 2010

Bayesian Methods and Mixture Models参考文献 40被引用 3

一句话总结

本文提出了一种广义的风险基础框架，用于隐马尔可夫模型（HMM）中的路径推断，引入了一类可解释、可调谐的解码器，该解码器融合了传统的维特比（MAP）和后验解码（PD）估计器。与以往的算法混合方法不同，这些基于风险的解码器计算效率高，在实际应用中可即插即用，并通过使用前向-后向过程的动态规划算法，在真实生物信息学数据上得到验证，实现了更高的准确性和鲁棒性。

ABSTRACT

Motivated by the unceasing interest in hidden Markov models (HMMs), this paper re-examines hidden path inference in these models, using primarily a risk-based framework. While the most common maximum a posteriori (MAP), or Viterbi, path estimator and the minimum error, or Posterior Decoder (PD), have long been around, other path estimators, or decoders, have been either only hinted at or applied more recently and in dedicated applications generally unfamiliar to the statistical learning community. Over a decade ago, however, a family of algorithmically defined decoders aiming to hybridize the two standard ones was proposed (Brushe et al., 1998). The present paper gives a careful analysis of this hybridization approach, identifies several problems and issues with it and other previously proposed approaches, and proposes practical resolutions of those. Furthermore, simple modifications of the classical criteria for hidden path recognition are shown to lead to a new class of decoders. Dynamic programming algorithms to compute these decoders in the usual forward-backward manner are presented. A particularly interesting subclass of such estimators can be also viewed as hybrids of the MAP and PD estimators. Similar to previously proposed MAP-PD hybrids, the new class is parameterized by a small number of tunable parameters. Unlike their algorithmic predecessors, the new risk-based decoders are more clearly interpretable, and, most importantly, work "out of the box" in practice, which is demonstrated on some real bioinformatics tasks and data. Some further generalizations and applications are discussed in conclusion.

研究动机与目标

• 为解决现有HMM路径估计器的局限性，特别是MAP与PD解码器混合时缺乏可解释性和实际可用性。
• 提出一种系统化的、基于风险的路径推断方法，推广经典准则，实现MAP与PD估计器之间的系统性插值。
• 提供基于前向-后向过程的动态规划算法，高效计算新解码器，确保实际可应用性。
• 在真实世界生物信息学数据集上展示所提解码器的有效性，证明其性能优于标准方法。
• 将该框架推广至HMM的扩展形式，如半马尔可夫和因子HMM，同时保持计算可行性。

提出的方法

• 提出一种广义的风险路径推断方法，定义了一类基于最小化风险函数的新解码器，该风险函数平衡先验与后验信息。
• 引入一个参数化的估计器族，可在维特比（MAP）和后验解码（PD）路径之间插值，参数可调，适用于经验优化。
• 开发基于前向与后向计算的动态规划算法，高效计算新解码器，类似于维特比与后验解码算法。
• 将该框架应用于具有离散有限状态空间和条件独立观测的HMM，利用后验分布的马尔可夫性质。
• 使用交叉验证和标注数据对风险参数进行调优，确保在未见数据上的最优性能。
• 通过保持相同的计算结构，将该方法扩展至更复杂的模型，如可变时长和因子HMM。

实验结果

研究问题

• RQ1 如何构建一个系统化、基于风险的框架，以统一并推广HMM中现有路径估计器？
• RQ2 先前MAP与PD解码器的算法混合方法存在哪些局限性？如何通过更具可解释性和统计基础的框架加以解决？
• RQ3 能否构建一类新解码器，系统性地在维特比解码与后验解码之间插值，同时保持计算效率？
• RQ4 与标准估计器相比，所提出的基于风险的解码器在真实生物信息学数据上的实际表现如何？
• RQ5 该框架在多大程度上可推广至更复杂的HMM变体，如半马尔可夫或因子模型？

主要发现

• 所提出的基于风险的解码器具有可解释性、可调谐性，且可即插即用，无需定制算法调整，这与早期混合方法不同。
• 新解码器通过使用前向-后向过程的动态规划高效计算，确保可扩展至长序列。
• 在生物信息学实验中，新解码器在标准MAP与PD估计器的基础上实现了更高的准确性，尤其在状态转移存在歧义的场景中表现更优。
• 该框架能有效处理不可行路径，并通过约束优化确保后验概率为正，避免产生虚假解。
• 通过交叉验证进行参数调优可带来一致的性能提升，证明了在不同数据集上的鲁棒性。
• 该方法可自然推广至扩展的HMM模型，包括半马尔可夫和因子模型，核心算法仅需极少修改。