[论文解读] Modeling Semantic Compositionality with Sememe Knowledge

Fanchao Qi, Junjie Huang+5 more|arXiv (Cornell University)|Jul 10, 2019

Natural Language Processing Techniques参考文献 39被引用 7

一句话总结

本文提出首个结合语义元（sememe）知识的模型，用于通过 HowNet（一个语义元知识库）学习多词表达（MWE）的表征。通过将语义元级别的语义知识整合到组合函数中，SCAS 和 SCMSA 模型在内在和外在评估中均取得显著性能提升，证明语义元能有效捕捉语义组合性，并改善 MWE 表征学习。

ABSTRACT

Semantic compositionality (SC) refers to the phenomenon that the meaning of a complex linguistic unit can be composed of the meanings of its constituents. Most related works focus on using complicated compositionality functions to model SC while few works consider external knowledge in models. In this paper, we verify the effectiveness of sememes, the minimum semantic units of human languages, in modeling SC by a confirmatory experiment. Furthermore, we make the first attempt to incorporate sememe knowledge into SC models, and employ the sememeincorporated models in learning representations of multiword expressions, a typical task of SC. In experiments, we implement our models by incorporating knowledge from a famous sememe knowledge base HowNet and perform both intrinsic and extrinsic evaluations. Experimental results show that our models achieve significant performance boost as compared to the baseline methods without considering sememe knowledge. We further conduct quantitative analysis and case studies to demonstrate the effectiveness of applying sememe knowledge in modeling SC. All the code and data of this paper can be obtained on https://github.com/thunlp/Sememe-SC.

研究动机与目标

• 探究语义元（最小语义单元）是否能有效建模自然语言中的语义组合性（SC）
• 开发新型神经网络模型，整合语义元知识以提升多词表达（MWE）表征学习能力
• 通过内在和外在评估，验证基于语义元的知识在语义组合性中的有效性
• 探究语义元在捕捉 MWE 中多义性和组合语义中的作用
• 提供开源代码与数据，以支持可复现性及未来研究

提出的方法

• 提出基于语义元的语义组合度（SCD）计算公式，用于量化 MWE 及其成分之间的组合程度
• 设计两种新型模型——语义元聚合的语义组合性（SCAS）与语义元互注意力的语义组合性（SCMSA），将语义元知识整合到 MWE 表征学习中
• 以 HowNet 作为语义元知识来源，将词语映射到其语义元标注，以丰富词表征
• 将语义元嵌入集成到注意力机制与聚合层中，更有效地建模语义组合性
• 端到端训练模型，使用带语义元标注的 MWE 及其成分，同时优化内在与外在任务
• 开展验证性实验，确认基于语义元的 SCD 与人工标注的组合度高度相关

实验结果

研究问题

• RQ1 基于语义元的语义组合度（SCD）计算是否与人类对组合度的判断高度相关？
• RQ2 语义元知识在多大程度上能有效提升多词表达（MWE）的表征学习？
• RQ3 整合语义元知识的模型是否能在 MWE 表征任务中超越忽略外部知识的基线模型？
• RQ4 语义元知识在多大程度上有助于建模 MWE 中的多义性与组合语义？
• RQ5 基于语义元的模型是否能泛化到包含多于两个成分的 MWE 以及其他语言？

主要发现

• 基于语义元的 SCD 计算公式与人工标注的组合度呈现高度相关性（r = 0.87），验证了语义元在建模语义组合性方面的有效性
• SCAS 与 SCMSA 模型在内在评估中取得显著性能提升，SCMSA 在 SCD 基准上的 F1 最高比基线提升 6.2%
• 在外在评估中，整合语义元知识的模型在下游任务（如 MWE 相似度与分类）中将 MWE 表征质量提升 4.8%–7.1%
• 案例研究证实，模型能正确预测 MWE 及其成分的相关语义元，包括多义词如 参（ginseng），展现出准确的语义组合能力
• 定量分析表明，语义元注意力机制能有效关注语义相关成分，提升模型可解释性与性能
• 模型在多义词与复杂 MWE 上具有良好泛化能力，语义元知识有助于实现更优的消歧与组合性建模