[论文解读] Hierarchical Semi-Markov Conditional Random Fields for Recursive Sequential Data

Tran The Truyen, Dinh Phung+2 more|arXiv (Cornell University)|Sep 10, 2010

Anomaly Detection Techniques and Applications参考文献 31被引用 23

一句话总结

本文提出分层半马尔可夫条件随机场（HSCRFs），一种用于递归序列数据的判别式多项式时间模型，可联合建模多个层次的结构（例如名词短语和词性标注）。该模型在部分标签观测下实现高效的学习与推理，在动作识别和名词短语切分任务中表现优于基线模型，其优势源于对分层结构的利用与约束推理机制。

ABSTRACT

Inspired by the hierarchical hidden Markov models (HHMM), we present the hierarchical semi-Markov conditional random field (HSCRF), a generalisation of embedded undirectedMarkov chains tomodel complex hierarchical, nestedMarkov processes. It is parameterised in a discriminative framework and has polynomial time algorithms for learning and inference. Importantly, we consider partiallysupervised learning and propose algorithms for generalised partially-supervised learning and constrained inference. We demonstrate the HSCRF in two applications: (i) recognising human activities of daily living (ADLs) from indoor surveillance cameras, and (ii) noun-phrase chunking. We show that the HSCRF is capable of learning rich hierarchical models with reasonable accuracy in both fully and partially observed data cases.

研究动机与目标

• 为解决级联模型在分层序列数据中的局限性，实现对多个语义层次的联合建模。
• 开发一种判别式模型，支持在递归嵌套的马尔可夫过程中实现高效的学习与推理。
• 将条件随机场扩展至处理分层半马尔可夫结构，并采用多项式时间算法。
• 实现广义的部分监督学习与约束推理，以提升在不完整标签情况下的鲁棒性。
• 在真实应用场景（如人类动作识别与名词短语切分）中验证模型的有效性。

提出的方法

• 提出HSCRF作为半马尔可夫CRFs的分层扩展，用于在多个语义层次上建模递归序列。
• 引入非对称内外算法（AIO）以高效计算分层结构中的内部与外部质量。
• 采用广义Viterbi算法，在分层约束下实现最大后验概率（MAP）解码。
• 使用对数线性参数化，分别对状态持续、转移、初始化与终止设置特征。
• 通过约束AIO与约束Viterbi算法实现约束推理与部分监督学习。
• 在推理与学习过程中实施数值缩放，以防止概率计算中的下溢问题。

实验结果

研究问题

• RQ1 判别式模型能否有效捕捉复杂数据中的分层递归序列结构？
• RQ2 在部分标签观测下，如何在分层模型中实现高效的学习与推理？
• RQ3 与级联或平坦模型相比，对多个语义层次进行联合建模是否能提升性能？
• RQ4 约束推理与部分监督学习在真实场景中能在多大程度上提升模型准确率？
• RQ5 HSCRF能否作为更复杂非递归多层过程的可处理近似？

主要发现

• 当测试时提供词性标注时，HSCRF在名词短语切分任务中优于标准CRFs与半马尔可夫CRFs，证明了联合建模的优势。
• 在推理过程中提供词性标注时，HSCRF的准确率高于SCRF，尽管SCRF具备更广的上下文感知能力。
• 即使在相同的特征空间下，DCRF的性能仍劣于SCRF，表明其建模能力存在局限。
• 在名词短语切分任务中，当使用词性标注作为输入时，HSCRF在所有设置下均优于DCRF与SCRF，凸显分层结构的价值。
• 部分监督学习与约束推理在不完整标注的真实数据上显著提升了模型性能。
• HSCRF在完全观测与部分观测数据设置下，均能学习到具有合理准确率的丰富分层模型。