[论文解读] EPIE Dataset: A Corpus For Possible Idiomatic Expressions

Prateek Saxena, Soma Paul|arXiv (Cornell University)|Jun 16, 2020

Natural Language Processing Techniques参考文献 14被引用 4

一句话总结

本文介绍了EPIE数据集，这是一个大规模、半自动构建的英语语料库，包含25,206个句子，其中标注了717个习语表达的词汇实例，分为静态（Static）和正式（Formal）两类。该数据集使基于BiLSTM-CRF模型的习语表达检测实现了高精度序列标注，在独立测试集上精度最高达95%，召回率达92%，显著推进了自然语言处理中隐喻和习语检测的发展。

ABSTRACT

Idiomatic expressions have always been a bottleneck for language comprehension and natural language understanding, specifically for tasks like Machine Translation(MT). MT systems predominantly produce literal translations of idiomatic expressions as they do not exhibit generic and linguistically deterministic patterns which can be exploited for comprehension of the non-compositional meaning of the expressions. These expressions occur in parallel corpora used for training, but due to the comparatively high occurrences of the constituent words of idiomatic expressions in literal context, the idiomatic meaning gets overpowered by the compositional meaning of the expression. State of the art Metaphor Detection Systems are able to detect non-compositional usage at word level but miss out on idiosyncratic phrasal idiomatic expressions. This creates a dire need for a dataset with a wider coverage and higher occurrence of commonly occurring idiomatic expressions, the spans of which can be used for Metaphor Detection. With this in mind, we present our English Possible Idiomatic Expressions(EPIE) corpus containing 25206 sentences labelled with lexical instances of 717 idiomatic expressions. These spans also cover literal usages for the given set of idiomatic expressions. We also present the utility of our dataset by using it to train a sequence labelling module and testing on three independent datasets with high accuracy, precision and recall scores.

研究动机与目标

• 为解决自然语言中习语表达检测缺乏大规模、高覆盖率数据集的问题。
• 克服现有数据集规模小、覆盖范围有限的问题，尤其是对短语习语的覆盖不足。
• 通过提供富含结构化信息的数据集（包含字面用法和习语用法），支持基于机器学习的习语表达检测。
• 区分静态与正式习语，因其形态句法变化不同，需采用不同的检测策略。
• 通过提升习语表达识别能力，支持机器翻译和隐喻检测等下游自然语言处理任务。

提出的方法

• 利用StringNet从英国国家语料库（BNC）中提取候选习语实例，基于表面形式进行识别。
• 候选习语来自IMIL数据集，该数据集将2,000个高频英语习语映射至印度语言。
• 采用两阶段过滤流程，去除非习语用法和噪声模式，仅保留具有合理习语片段的句子。
• 将数据集划分为静态习语（精确字符串匹配）和正式习语（屈折、变形形式），需采用不同检测方法。
• 在正式习语子集上训练BiLSTM-CRF序列标注模型，使用300维GloVe词嵌入，并在三个独立数据集上进行评估。
• 在SemEval-2013任务5b和PIE语料库上对模型进行微调和测试，性能指标涵盖所有用法及仅习语用法两种情况。

实验结果

研究问题

• RQ1 大规模、半自动构建的数据集能否提升英语文本中习语表达的检测效果？
• RQ2 静态与正式习语之间的区分如何影响序列标注模型在习语表达检测中的性能表现？
• RQ3 在EPIE数据集上训练的模型，能在多大程度上泛化到独立的、分布外的数据集（如SemEval-2013和PIE语料库）？
• RQ4 习语表达在数据集中的分布情况如何？这种分布对模型学习有何影响？
• RQ5 序列标注方法能否在检测短语习语的字面用法和习语用法时均实现高精度与高召回率？

主要发现

• EPIE数据集包含25,206个句子，涵盖717个习语表达，其中21,891个句子包含静态习语，3,135个句子包含正式习语。
• 在EPIE正式习语子集上训练的模型，在其自身测试集上达到98%准确率、95%精确率和91%召回率。
• 在SemEval-2013的“所有词”数据集上，模型对所有用法的识别达到84%准确率、90%精确率和85%召回率；对仅习语用法的识别达到86%准确率、93%精确率和86%召回率。
• 在SemEval-2013的“词汇样本”数据集上，模型对所有用法的识别达到89%准确率和90%精确率；对仅习语用法的识别达到92%准确率、95%精确率和92%召回率。
• 在PIE语料库上，模型对所有用法的识别达到69%准确率和60%精确率，但对仅习语用法的识别达到88%准确率、94%精确率和88%召回率。
• 正式习语的平均出现次数为8.75，标准差为8.61，表明其分布呈类似指数分布；而静态习语的分布高度偏斜，平均值为60.9，标准差为160。