[论文解读] Hidden Markov Chains, Entropic Forward-Backward, and Part-Of-Speech Tagging

Elie Azeraf, Emmanuel Monfrini+2 more|arXiv (Cornell University)|May 21, 2020

Natural Language Processing Techniques参考文献 38被引用 6

一句话总结

本文引入了熵正则前向-后向（EFB）概率，以在无需独立性假设的前提下，恢复具有任意特征（如前缀和后缀）的隐马尔可夫链（HMC）。通过用基于熵的推理替代标准前向-后向算法，该方法使HMC在词性标注任务中的表现达到或超过最大熵最大似然模型（MEMM）的性能，重新确立了HMC作为序列建模中深度学习模型的可行替代方案。

ABSTRACT

The ability to take into account the characteristics - also called features - of observations is essential in Natural Language Processing (NLP) problems. Hidden Markov Chain (HMC) model associated with classic Forward-Backward probabilities cannot handle arbitrary features like prefixes or suffixes of any size, except with an independence condition. For twenty years, this default has encouraged the development of other sequential models, starting with the Maximum Entropy Markov Model (MEMM), which elegantly integrates arbitrary features. More generally, it led to neglect HMC for NLP. In this paper, we show that the problem is not due to HMC itself, but to the way its restoration algorithms are computed. We present a new way of computing HMC based restorations using original Entropic Forward and Entropic Backward (EFB) probabilities. Our method allows taking into account features in the HMC framework in the same way as in the MEMM framework. We illustrate the efficiency of HMC using EFB in Part-Of-Speech Tagging, showing its superiority over MEMM based restoration. We also specify, as a perspective, how HMCs with EFB might appear as an alternative to Recurrent Neural Networks to treat sequential data with a deep architecture.

研究动机与目标

• 解决HMC在处理如前缀和后缀等任意观测特征时长期存在的局限性。
• 证明HMC在自然语言处理中表现不佳的原因在于过时的恢复算法，而非模型结构本身。
• 提出一种新颖的推理方法——熵正则前向-后向（EFB）方法，使HMC能够像MEMM一样整合任意特征。
• 在词性标注任务中对所提方法进行实证评估，并与基于MEMM的方法进行比较。
• 将带有EFB的HMC定位为循环神经网络在序列数据建模任务中的潜在替代方案。

提出的方法

• 提出熵正则前向概率与熵正则后向概率，作为HMC中经典前向-后向算法的替代方案。
• 采用基于熵的推理计算状态后验概率，实现对任意特征的灵活整合。
• 设计EFB算法以处理任意大小的特征（如前缀、后缀），且无需依赖条件独立性假设。
• 在标准自然语言处理特征集下，将基于EFB的HMC恢复方法应用于词性标注任务。
• 采用最大似然估计框架训练HMC参数，同时保持特征表达能力。
• 通过利用EFB推理机制，将HMC框架扩展以支持深层结构。

实验结果

研究问题

• RQ1 能否通过基于熵的推理有效恢复HMC，以处理任意观测特征？
• RQ2 当使用相同特征集时，基于EFB的HMC是否在词性标注任务中优于MEMM？
• RQ3 带有EFB推理的HMC能否作为序列建模任务中循环神经网络的可行替代方案？
• RQ4 HMC在自然语言处理中的局限性是源于模型结构，还是推理算法？
• RQ5 EFB方法在处理如n-gram或词形变化模式等复杂特征集时的可扩展性如何？

主要发现

• 基于EFB的HMC在标准基准测试中，其词性标注准确率优于基于MEMM的恢复方法。
• 该方法成功整合了任意特征（如前缀和后缀），且无需依赖独立性假设。
• 实证结果表明，当使用相同特征集进行训练时，带有EFB推理的HMC优于MEMM。
• EFB算法以一种系统且可扩展的方式，使HMC能够处理复杂且非马尔可夫性特征。
• 作者建议，带有EFB的HMC可作为序列数据建模中轻量级、可解释的循环神经网络替代方案。
• 所提方法通过克服历史上的特征整合局限，恢复了HMC在现代自然语言处理中的可行性。