[论文解读] Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence

Jiaju Du, Fanchao Qi+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 31被引用 4

一句话总结

该论文提出了一种名为语义素对应池化（SCorP）的新模型，通过捕捉词典定义中语义素与词语之间的局部语义对应关系，实现词汇语义素的预测。通过建模对应分数并应用最大池化操作，SCorP在HowNet数据集上实现了最先进性能，展现出在不同词频范围内的鲁棒性，并有效实现了语义素与定义词语的对齐。

ABSTRACT

Sememes, defined as the minimum semantic units of human languages in linguistics, have been proven useful in many NLP tasks. Since manual construction and update of sememe knowledge bases (KBs) are costly, the task of automatic sememe prediction has been proposed to assist sememe annotation. In this paper, we explore the approach of applying dictionary definitions to predicting sememes for unannotated words. We find that sememes of each word are usually semantically matched to different words in its dictionary definition, and we name this matching relationship local semantic correspondence. Accordingly, we propose a Sememe Correspondence Pooling (SCorP) model, which is able to capture this kind of matching to predict sememes. We evaluate our model and baseline methods on a famous sememe KB HowNet and find that our model achieves state-of-the-art performance. Moreover, further quantitative analysis shows that our model can properly learn the local semantic correspondence between sememes and words in dictionary definitions, which explains the effectiveness of our model. The source codes of this paper can be obtained from https://github.com/thunlp/scorp.

研究动机与目标

• 为解决人工构建和更新语义素知识库（KB）的高昂成本，提出自动语义素预测方法。
• 利用词典定义作为丰富且易获取的资源，尤其针对低频词的语义素预测。
• 发现并利用局部语义对应关系——即每个语义素与词语定义中的特定词语相匹配——以提升预测准确率。
• 开发一种避免人为强加语义素顺序的模型，并缓解先前方法中存在的字符级歧义问题。

提出的方法

• SCorP使用可学习的评分机制，建模每个语义素与词语词典定义中每个词语之间的语义对应关系。
• 通过类似注意力的神经机制计算对应分数，并对每个语义素在定义词语上应用最大池化，以聚合最强匹配。
• 模型使用词级嵌入作为输入，避免字符级歧义，从而支持更优的表征学习。
• 引入两种优化操作：将定义词语的语义素纳入模型，以及整合目标词语的嵌入表示，以提升性能。
• 该框架是一种多标签分类模型，将语义素预测视为序列到集合的任务，避免序列顺序约束。
• 模型在HowNet上端到端训练，使用交叉熵损失，通过优化操作实现微调。

实验结果

研究问题

• RQ1 能否有效利用词典定义来提升词汇语义素预测，特别是对低频词？
• RQ2 语义素与词典定义中单个词语之间是否存在局部语义对应关系？该关系是否可被利用以提升预测性能？
• RQ3 与序列到序列或字符级模型相比，建模语义素与定义词语之间的对应关系在性能和鲁棒性方面表现如何？
• RQ4 通过优化操作——即纳入定义词语的语义素和目标词语嵌入——在多大程度上提升了模型性能？

主要发现

• SCorP在HowNet语义素预测基准上实现了最先进性能，优于现有方法，包括序列到序列和字符级模型。
• 该模型在不同词频范围内表现出强鲁棒性，即使在低频词（频率 < 50）上也保持高性能，而CSP模型则出现急剧下降。
• 定量分析证实，SCorP有效学习了局部语义对应关系，正确语义素在相关定义词语上始终获得最高对应分数。
• 表5的案例研究显示，模型能正确识别'observatory'的前几位语义素，通过将它们与语义匹配的定义词语（如'location'对应'institution'）对齐。
• 两种优化操作显著提升了性能，最终模型的F1分数高于基线模型。
• 通过注意力风格的注意力图和对应分数分析，验证了模型捕捉语义素与定义词语之间对应关系的能力。