[论文解读] ManTIME: Temporal expression identification and normalization in the TempEval-3 challenge

Michele Filannino, Gavin Brown+1 more|arXiv (Cornell University)|Apr 30, 2013

Natural Language Processing Techniques参考文献 7被引用 17

一句话总结

ManTIME 是一个基于 CRF 的系统，结合后处理流水线，用于 TempEval-3 挑战中的时序表达识别与归一化。其识别 F1 得分为 0.90，归一化类型准确率为 0.84。WordNet 特征会降低性能，尽管大量使用了银标准数据，但结果并未改善。

ABSTRACT

This paper describes a temporal expression identification and normalization system, ManTIME, developed for the TempEval-3 challenge. The identification phase combines the use of conditional random fields along with a post-processing identification pipeline, whereas the normalization phase is carried out using NorMA, an open-source rule-based temporal normalizer. We investigate the performance variation with respect to different feature types. Specifically, we show that the use of WordNet-based features in the identification task negatively affects the overall performance, and that there is no statistically significant difference in using gazetteers, shallow parsing and propositional noun phrases labels on top of the morphological features. On the test data, the best run achieved 0.95 (P), 0.85 (R) and 0.90 (F1) in the identification phase. Normalization accuracies are 0.84 (type attribute) and 0.77 (value attribute). Surprisingly, the use of the silver data (alone or in addition to the gold annotated ones) does not improve the performance.

研究动机与目标

• 开发一个针对 TempEval-3 挑战中时序表达识别与归一化的鲁棒系统。
• 评估不同特征类型（形态、句法、地名词典和 WordNet）对识别性能的影响。
• 评估与仅使用金标准数据相比，银标准数据是否能提升系统性能。
• 研究后处理流水线在提升基于 CRF 的识别结果方面的有效性。
• 使用更新的基于规则的系统 NorMA 评估归一化准确率。

提出的方法

• 识别阶段使用线性条件随机场（CRF）与 BIO 标注方案，并采用自定义因子图拓扑结构。
• 特征包括形态特征（如词形、词干、模式、正则表达式）、句法特征（短语块、命题名词短语）、地名词典特征（如城市、国籍）以及基于 WordNet 的特征（如词义、上位词、下位词）。
• 后处理流水线应用三个模块：概率校正、BIO 修正器（修正无效的标签转移）、基于阈值的标签切换（当先验概率 >0.87 时覆盖 CRF 预测）。
• 归一化阶段使用 NorMA（一个开源的基于规则的归一化器），将时序表达映射为 TimeML 格式的类型和值属性。
• 模型选择与超参数调优使用混合训练集（金标准与银标准数据）的 5×10 折交叉验证，随机种子设为 490 以进行打乱。
• 最终系统在 TempEval-3 测试集上使用 F1、精确率、召回率和值/类型准确率指标进行评估。

实验结果

研究问题

• RQ1 在基于 CRF 的系统中，引入基于 WordNet 的特征是否能提升时序表达识别性能？
• RQ2 句法与地名词典特征是否在形态特征基础上显著提升识别性能？
• RQ3 当用于训练时，来自 TE3Silver 语料库的银标准数据是否能提升系统性能？
• RQ4 后处理流水线在多大程度上提升了时序表达识别的精确率与召回率？
• RQ5 训练数据构成（金标准 vs. 银标准）对时序类型与值属性归一化准确率有何影响？

主要发现

• 最佳运行结果在使用金标准标注数据与后处理流水线时，识别阶段达到 0.95 精确率、0.85 召回率与 0.90 F1 得分。
• 使用基于 WordNet 的特征显著降低了识别性能，ANOVA 分析 p 值为 0.0054，表明具有统计显著性的负面影响。
• 与仅使用形态特征相比，句法与地名词典特征未带来统计显著的性能差异，表明其附加价值有限。
• 归一化达到 0.84 类型准确率与 0.77 值准确率，表明在处理新型词汇模式与值解释方面仍具挑战。
• 尽管银标准数据规模为金标准的 7 倍，但单独使用或与金标准数据结合使用时均未提升性能，表明可能存在噪声或分布不匹配问题。
• 后处理流水线显著将 F1 得分提升了 2.27%（p=3.51×10−23），尤其在金标准数据上提升最大，证明其在优化 CRF 预测方面的有效性。