[论文解读] Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet

Shu Liu, Jingjing Xu+2 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 19被引用 5

一句话总结

本文提出了一种语义素-词语-匹配神经网络（SWM-NN），利用汉语语义知识库HowNet的语义素知识库，通过建模词语之间的细粒度语义兼容性来评估句子的语义合理性。该模型在新构建的大规模数据集上比基线模型准确率高出5.4%，通过语义素层面的推理显著提升了对语义违规的检测能力。

ABSTRACT

Automatic evaluation of semantic rationality is an important yet challenging task, and current automatic techniques cannot well identify whether a sentence is semantically rational. The methods based on the language model do not measure the sentence by rationality but by commonness. The methods based on the similarity with human written sentences will fail if human-written references are not available. In this paper, we propose a novel model called Sememe-Word-Matching Neural Network (SWM-NN) to tackle semantic rationality evaluation by taking advantage of sememe knowledge base HowNet. The advantage is that our model can utilize a proper combination of sememes to represent the fine-grained semantic meanings of a word within the specific contexts. We use the fine-grained semantic representation to help the model learn the semantic dependency among words. To evaluate the effectiveness of the proposed model, we build a large-scale rationality evaluation dataset. Experimental results on this dataset show that the proposed model outperforms the competitive baselines with a 5.4\% improvement in accuracy.

研究动机与目标

• 为解决在缺乏人工编写参考的情况下，自动检测句子是否具有语义合理性的挑战。
• 克服基于语言模型的方法的局限性，这些方法更关注句子的常见性而非合理性。
• 开发一种利用细粒度语义知识检测谓词与其论元之间选择限制违规的方法。
• 构建一个大规模、人工标注的句子语义合理性检测（SSRD）数据集。
• 整合词语级和语义素级表征，以改善语义兼容性建模。

提出的方法

• 该模型采用双分支架构：一个用于词语级表征，另一个用于从HowNet派生的语义素级表征。
• 对于每个词语，模型通过词语上下文与语义素定义之间的匹配机制，选择上下文相关的语义素。
• 通过计算所选语义素之间的对齐与一致性，评估词语之间的语义兼容性。
• 最终的合理性得分通过神经网络分类器融合词语级和语义素级表征生成。
• 该模型在新构建的、标注了语义合理性的句子数据集上进行端到端训练。
• 采用软注意力机制，根据句子上下文动态加权语义素的相关性。

实验结果

研究问题

• RQ1 神经网络模型是否能在不依赖人工编写参考的情况下，有效检测句子的语义合理性？
• RQ2 HowNet中的语义素知识在多大程度上能提升对句子语义不连贯性的检测能力？
• RQ3 与词语级或句子级表征相比，整合细粒度语义单元（语义素）在合理性检测中的表现如何？
• RQ4 在语义合理性评估中，人工判断与自动化模型之间存在多大的性能差距？
• RQ5 所提出的模型在不同类型语义违规（如选择限制错误）上的鲁棒性如何？

主要发现

• 所提出的SWM-NN模型在新构建的大规模合理性评估数据集上，比竞争性基线模型准确率绝对提升5.4%。
• 该模型显著优于基于语言模型的方法，后者常将不常见但合理的句子误判为不合理。
• 人工标注者在模型表现最差的子集（dataset3）上准确率更高，表明在建模复杂语义约束方面仍有改进空间。
• 模型性能对语义素选择的质量敏感，凸显了上下文感知语义素匹配的重要性。
• 消融实验证实，词语级和语义素级表征均对最终预测有显著贡献，其中语义素级特征在检测选择限制违规方面尤为有效。
• 该模型在不同类型语义错误（包括错误语义角色或不兼容语义特征）上具有良好的泛化能力。