[论文解读] Monotonicity Marking from Universal Dependency Trees

Zeming Chen, Qiyue Gao|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 25被引用 4

一句话总结

本论文提出了一种新颖的系统，通过通用依存结构（Universal Dependencies, UD）自动标注依存树上的单调性极性（单调、反单调或无），其性能优于现有的工具如NatLog和ccg2mono。通过将基于规则的极性算法应用于UD解析树，该系统在标记数据集的词级别和句子级别单调性标注任务中均达到最先进水平，展现出更高的鲁棒性和覆盖范围。

ABSTRACT

Dependency parsing is a tool widely used in the field of Natural language processing and computational linguistics. However, there is hardly any work that connects dependency parsing to monotonicity, which is an essential part of logic and linguistic semantics. In this paper, we present a system that automatically annotates monotonicity information based on Universal Dependency parse trees. Our system utilizes surface-level monotonicity facts about quantifiers, lexical items, and token-level polarity information. We compared our system's performance with existing systems in the literature, including NatLog and ccg2mono, on a small evaluation dataset. Results show that our system outperforms NatLog and ccg2mono.

研究动机与目标

• 开发一种基于通用依存（UD）解析树而非CCG树的自动极性标注系统，用于单调性推理。
• 通过利用量词、词汇项和词级别极性的表层事实，提升自然语言蕴含任务中单调性标注的准确率和鲁棒性。
• 通过依赖高精度的UD解析，实现单调性推理在多样化文本类型和语言中的广泛应用。
• 为自然语言蕴含任务提供一种比黑箱神经网络模型更具可解释性和形式精确性的替代方案。

提出的方法

• 使用标准UD解析器将输入句子转换为通用依存（UD）解析树。
• 将UD解析树转换为二叉树结构，以简化规则应用。
• 应用极性规则词典，基于句法和语义线索为每个节点分配单调（↑）、反单调（↓）或中性（=）极性。
• 采用两阶段算法：首先从叶节点向根节点标记极性，然后从根节点向叶节点传播极性，以确保一致性。
• 利用已知的表层单调性事实——如量词（例如“all”、“some”）、否定和限定词的行为——指导极性分配。
• 通过在所有词和关键词（内容词、限定词、数字）上计算精确率、召回率和F1分数，与人工标准标注进行验证。

实验结果

研究问题

• RQ1 能否从通用依存解析树而非CCG解析树中准确推断出单调性极性？
• RQ2 基于UD的极性标注系统在标准评估基准上的性能与现有系统（如NatLog和ccg2mono）相比如何？
• RQ3 使用UD解析在多大程度上提升了单调性标注在多样化语言现象中的鲁棒性和覆盖范围？
• RQ4 基于规则的系统若利用表层句法和语义线索，能否在单调性标注中实现高于以往方法的准确率？

主要发现

• 我们的系统在所有词（96.5）和关键词（96.5）上的词级别准确率最高，优于NatLog和ccg2mono。
• 在句子级别评估中，我们的系统在所有词上达到87.5%的准确率，在关键词上达到89.2%，超过两个基线模型。
• 我们的系统展现出更优的鲁棒性，F1分数达到97.4（所有词）和89.9（关键词），显著高于NatLog和ccg2mono。
• ccg2mono正确标注的所有实例，我们的系统也全部正确标注，表明其对语言现象的覆盖范围更广。
• 我们的系统在关键词上的反单调极性召回率达97.6%，F1得分为97.4%，在具有挑战性的案例中表现强劲。
• 所有三种极性标签（单调、反单调、无）的精确率和召回率在我们的系统中均持续高于NatLog和ccg2mono，证实了其鲁棒性的提升。