[论文解读] Evaluating Scoped Meaning Representations

Rik van Noord, Lasha Abzianidze+2 more|arXiv (Cornell University)|Feb 23, 2018

Natural Language Processing Techniques参考文献 25被引用 29

一句话总结

本文提出了一种基于话语表示理论（Discourse Representation Theory）的多语言并行语料库，该语料库使用WordNet同义词集和VerbNet角色对语义范围进行标注，以建模否定、情态、量化和预设。该研究提出了一种类似smatch的从句匹配评估框架，在三个基线解析器上实现了43–54%的F值，并通过跨语言比较展示了其在检测标注错误和改进语义分析方面的实用性。

ABSTRACT

Semantic parsing offers many opportunities to improve natural language understanding. We present a semantically annotated parallel corpus for English, German, Italian, and Dutch where sentences are aligned with scoped meaning representations in order to capture the semantics of negation, modals, quantification, and presupposition triggers. The semantic formalism is based on Discourse Representation Theory, but concepts are represented by WordNet synsets and thematic roles by VerbNet relations. Translating scoped meaning representations to sets of clauses enables us to compare them for the purpose of semantic parser evaluation and checking translations. This is done by computing precision and recall on matching clauses, in a similar way as is done for Abstract Meaning Representations. We show that our matching tool for evaluating scoped meaning representations is both accurate and efficient. Applying this matching tool to three baseline semantic parsers yields F-scores between 43% and 54%. A pilot study is performed to automatically find changes in meaning by comparing meaning representations of translations. This comparison turns out to be an additional way of (i) finding annotation mistakes and (ii) finding instances where our semantic analysis needs to be improved.

研究动机与目标

• 开发一种形式化、具有语言学动机的意义表示形式，明确建模否定、情态、量化和预设的语义范围。
• 创建一个大规模的多语言并行语料库，涵盖英语、德语、意大利语和荷兰语，并以正式的意义表示进行标注。
• 设计并实现一种高效的评估工具，通过从句级精确率和召回率比较机器生成的SMR与标准标注结果。
• 通过比较不同语言翻译的意义表示，实现对语义不一致性和标注错误的自动检测。
• 通过扩展覆盖范围并组织四国语言SMR解析的共享任务，推动未来在语义解析领域的研究。

提出的方法

• 意义表示形式基于话语表示结构（DRS），整合WordNet同义词集表示概念，以及VerbNet关系表示主题角色。
• 通过逻辑运算符和条件显式表示语义范围，实现对否定、情态和量化的准确建模。
• 采用基于翻译的方法生成并行意义表示，确保跨语言一致性，并支持组合式语义分析。
• 评估框架将SMR转换为逻辑从句集合，并使用改进的smatch-like算法计算精确率、召回率和F值。
• 系统支持变量映射和语义匹配，未来计划引入WordNet相似度以处理非完全相同但相关的同义词集。
• 一项试点研究通过比较翻译的SMR来检测语义差异，有助于错误检测和分析优化。

实验结果

研究问题

• RQ1 如何在意义表示中有效建模语义范围，以捕捉否定、情态和预设？
• RQ2 从句匹配评估框架在多大程度上能够实现对机器生成SMR与标准标注结果的可靠且高效的比较？
• RQ3 对意义表示进行跨语言比较，能否揭示标注错误或语义分析中的缺陷？
• RQ4 与AMR相比，使用基于WordNet和VerbNet的语义符号是否增加了SMR的复杂性和评估难度？
• RQ5 通过引入同义词集之间的语义相似度而非仅依赖字符串匹配，能否改进评估过程？

主要发现

• 所提出的评估工具在速度与准确性之间实现了合理的平衡，通过从句级匹配实现了SMR的可靠比较。
• 基线语义解析器在与标准标注对比评估中，F值在43%至54%之间。
• 对翻译中SMR的跨语言比较成功识别出标注错误，特别是在语义范围和主题角色分配方面。
• 该方法揭示了当前语义分析需要改进的案例，特别是在处理非字面翻译和复杂语义范围交互方面。
• 使用基于WordNet和VerbNet的语义符号提高了表达能力，但也增加了复杂性，平均而言，SMR的从句和变量数量约为AMR的两倍。
• 初步结果表明，引入WordNet相似度度量可提升匹配准确性，超越仅依赖字符串匹配的局限。