[论文解读] A Modality Lexicon and its use in Automatic Tagging

Kathrin Baker, Michael Bloodgood+4 more|arXiv (Cornell University)|Oct 17, 2014

Natural Language Processing Techniques参考文献 10被引用 49

一句话总结

本文提出了一种语义驱动的模态词典及两种自动标注器——基于字符串的和基于结构的——用于识别英文文本中的模态触发词、目标和持有者。基于结构的标注器在标准LDC数据集上达到86.3%的精确率，并在应用于英乌语训练语料时使机器翻译质量提升0.3 BLEU分，证明了在低资源翻译设置中进行模态标注的价值。

ABSTRACT

This paper describes our resource-building results for an eight-week JHU Human Language Technology Center of Excellence Summer Camp for Applied Language Exploration (SCALE-2009) on Semantically-Informed Machine Translation. Specifically, we describe the construction of a modality annotation scheme, a modality lexicon, and two automated modality taggers that were built using the lexicon and annotation scheme. Our annotation scheme is based on identifying three components of modality: a trigger, a target and a holder. We describe how our modality lexicon was produced semi-automatically, expanding from an initial hand-selected list of modality trigger words and phrases. The resulting expanded modality lexicon is being made publicly available. We demonstrate that one tagger---a structure-based tagger---results in precision around 86% (depending on genre) for tagging of a standard LDC data set. In a machine translation application, using the structure-based tagger to annotate English modalities on an English-Urdu training corpus improved the translation quality score for Urdu by 0.3 Bleu points in the face of sparse training data.

研究动机与目标

• 开发一种稳健的模态标注方案，以捕捉用于语义分析的触发词、目标和持有者。
• 通过从初始手工筛选的触发词列表出发进行半自动扩展，构建一个公开可用的模态词典。
• 设计并评估两种自动模态标注器——基于字符串的和基于结构的——以用于自然语言理解与机器翻译。
• 评估模态标注对机器翻译性能的影响，尤其是在训练数据稀疏的条件下。
• 识别并解决模态标注中的关键挑战，包括词义歧义、复杂句法结构以及覆盖度缺口。

提出的方法

• 模态标注方案识别三个组成部分：触发词（例如 'may', 'not'）、目标（受影响的命题或事件）和持有者（模态的体验者或认知者）。
• 模态词典通过使用语言模式和分布分析，对初始手工选择的模态触发词集进行半自动扩展构建而成。
• 基于字符串的标注器使用启发式规则，根据表面触发词及其句法上下文分配模态标签。
• 基于结构的标注器采用句法解析和基于规则的目标识别，使其不仅能标注动词为目标，还能在语义上合适时将名词也标注为目标。
• 通过句法对齐，将模态标注从英文投影到平行语料中的乌尔都语，从而在Joshua机器翻译系统中实现模态感知的翻译。
• 评估通过人工检查NIST 09 MTEval数据集中的249个句子进行，精确率按句计算。

实验结果

研究问题

• RQ1 结构化的模态标注方案是否能提高在不同文本类型中模态标注的准确性和一致性？
• RQ2 通过半自动扩展的模态词典在多大程度上覆盖了不同语言语境下的真实模态表达？
• RQ3 在识别模态触发词和目标时，基于字符串的标注器与基于结构的标注器在精确率和召回率上的表现如何比较？
• RQ4 模态标注是否能提升机器翻译质量，尤其是在训练数据有限的低资源设置下？
• RQ5 模态标注中的主要错误来源是什么？这些错误能否通过词典优化和解析增强来缓解？

主要发现

• 基于结构的标注器在标准LDC数据集上达到86.3%的精确率，其中在母语新闻语体文本中精确率更高（92%），在非母语或复杂文本中则较低（83%）。
• 当轻动词或名词在语义上比句法主干更适合作为目标时，标注器常错误识别目标，例如在 'The decision should be taken' 中错误地将 'taken' 视为目标而非 'decision'。
• 词义歧义导致错误标注，例如在 'Sikhs attacked a train' 这类语境中，将 'attacked' 误认为模态触发词，而其实际为字面动词。
• 标注器在并列结构或短语结构中复杂的触发词上出现遗漏，例如在 'he will not rest unless the process is completed' 中未能识别 'not rest unless' 为触发词。
• 模态词典存在覆盖缺口，遗漏了罕见或习语表达，例如在否定密集结构中的 'It is not possible...'。
• 在机器翻译中，模态标注使BLEU分数从26.4提升至26.7，而将模态标注与实体标注结合后进一步提升至26.9，证明了翻译质量的切实提升。