[论文解读] Efficiently Inducing Features of Conditional Random Fields

Andrew McCallum|arXiv (Cornell University)|Oct 19, 2012

Topic Modeling参考文献 23被引用 366

一句话总结

本文提出了一种条件随机场（CRFs）的特征归纳方法，该方法基于Della Pietra等人提出的条件似然框架，自动识别并仅包含能显著提升对数似然性的特征组合。该方法将特征数量减少了逾一个数量级，同时提升了准确率，从而在命名实体识别等序列建模任务中支持更丰富、更高阶的马尔可夫模型，并减少了对手动特征工程的依赖。

ABSTRACT

Conditional Random Fields (CRFs) are undirected graphical models, a special case of which correspond to conditionally-trained finite state machines. A key advantage of these models is their great flexibility to include a wide array of overlapping, multi-granularity, non-independent features of the input. In face of this freedom, an important question that remains is, what features should be used? This paper presents a feature induction method for CRFs. Founded on the principle of constructing only those feature conjunctions that significantly increase log-likelihood, the approach is based on that of Della Pietra et al [1997], but altered to work with conditional rather than joint probabilities, and with additional modifications for providing tractability specifically for a sequence model. In comparison with traditional approaches, automated feature induction offers both improved accuracy and more than an order of magnitude reduction in feature count; it enables the use of richer, higher-order Markov models, and offers more freedom to liberally guess about which atomic features may be relevant to a task. The induction method applies to linear-chain CRFs, as well as to more arbitrary CRF structures, also known as Relational Markov Networks [Taskar & Koller, 2002]. We present experimental results on a named entity extraction task.

研究动机与目标

• 为解决CRFs中特征选择的挑战，CRFs虽具高度灵活性，但潜在特征组合存在组合爆炸问题。
• 开发一种方法，自动归纳仅能显著提升模型似然性的特征组合，避免手动特征工程。
• 将Della Pietra等人提出的联合概率特征归纳方法适配至条件概率模型，特别针对CRFs。
• 通过修改算法以适配线性链和关系型CRF结构，确保在序列模型中的计算可行性。
• 在命名实体抽取任务上展示该方法的有效性，证明其性能提升及特征空间缩小。

提出的方法

• 该方法采用基于条件似然的特征归纳框架，源自Della Pietra等人提出的方法，但已适配至条件模型而非联合模型。
• 通过评估其对训练数据对数似然性的边际贡献，逐步构建特征组合。
• 该算法采用贪心、迭代的流程，仅添加能带来统计上显著提升的条件对数似然性的特征组合。
• 对原始联合概率方法进行修改，以处理CRFs的条件性质，确保与线性链和关系型CRF结构的兼容性。
• 该方法包含剪枝机制，以避免过拟合并保持特征搜索过程中的计算效率。
• 该方法设计为可扩展至大规模特征空间，并支持自然语言处理任务中常见的重叠、多粒度特征。

实验结果

研究问题

• RQ1 能否为CRFs开发一种特征归纳方法，自动选择最具信息量的特征组合？
• RQ2 与传统手动特征工程相比，条件特征归纳在准确率和特征空间大小方面表现如何？
• RQ3 该方法能否在如线性链CRFs等序列模型中实现计算上的可行性？
• RQ4 通过降低特征复杂度，该方法是否能实现更高阶马尔可夫模型的使用？
• RQ5 该方法在真实世界NLP任务（如命名实体识别）中的性能提升程度如何？

主要发现

• 所提出的特征归纳方法相较于传统方法，将特征数量减少了逾一个数量级。
• 尽管特征数量大幅减少，该模型在命名实体抽取任务上的准确率仍高于使用手工特征工程训练的模型。
• 该方法使原本因特征空间爆炸而不可行的更丰富、更高阶的马尔可夫模型成为可能。
• 特征归纳过程计算高效且可扩展，使其在真实世界序列建模应用中具有实用性。
• 结果表明，基于条件似然的自动化特征归纳在NLP任务中对CRFs既有效又实用。
• 该方法在预测准确率和特征集紧凑性方面均优于基线模型。