[论文解读] Incorporating Chinese Characters of Words for Lexical Sememe Prediction

Huiming Jin, Hao Zhu+5 more|arXiv (Cornell University)|Jun 17, 2018

Topic Modeling参考文献 32被引用 4

一句话总结

本文提出了一种汉字增强的语义元预测框架（CSP），用于中文词汇语义元预测，该框架整合了内部的字级别信息与外部上下文嵌入。通过利用新颖的SPWCF和SPCSE模型捕捉字级别语义，CSP在HowNet数据集上实现了最先进性能，显著提升了预测准确率，尤其在低频词和未登录词上表现突出，证明了其在真实语义元标注场景中的鲁棒性与有效性。

ABSTRACT

Sememes are minimum semantic units of concepts in human languages, such that each word sense is composed of one or multiple sememes. Words are usually manually annotated with their sememes by linguists, and form linguistic common-sense knowledge bases widely used in various NLP tasks. Recently, the lexical sememe prediction task has been introduced. It consists of automatically recommending sememes for words, which is expected to improve annotation efficiency and consistency. However, existing methods of lexical sememe prediction typically rely on the external context of words to represent the meaning, which usually fails to deal with low-frequency and out-of-vocabulary words. To address this issue for Chinese, we propose a novel framework to take advantage of both internal character information and external context information of words. We experiment on HowNet, a Chinese sememe knowledge base, and demonstrate that our framework outperforms state-of-the-art baselines by a large margin, and maintains a robust performance even for low-frequency words.

研究动机与目标

• 为解决现有词汇语义元预测方法仅依赖外部上下文的局限性，这些方法在低频词和未登录词上表现不佳。
• 探索将中文词汇的内部字级别信息作为语义元预测的补充语义知识来源。
• 构建一个统一框架，结合内部（字级别）与外部（上下文）信息，以提升语义元预测性能。
• 在真实世界数据上评估所提方法的有效性与鲁棒性，尤其针对HowNet中的稀有词与未见词。

提出的方法

• 提出一种新颖的框架——汉字增强语义元预测（CSP），联合建模外部上下文嵌入与内部字嵌入以实现语义元预测。
• 引入基于词到字过滤的语义元预测（SPWCF），利用字级别表征通过筛选语义相关字特征来优化词嵌入。
• 开发基于字与语义元嵌入的语义元预测（SPCSE），建模单个字及其组合对语义元的语义贡献。
• 采用双分支架构：一个分支学习词级别上下文嵌入（基于SPWE与SPSE），另一个分支学习字级别表征，通过集成学习实现晚期融合。
• 使用在大规模语料上预训练的词与字嵌入，其中字级别表征源自子词单元或词素分解。
• 应用协同过滤与矩阵分解技术预测语义元相关性，并通过字级别先验知识增强泛化能力。

实验结果

研究问题

• RQ1 中文词汇的内部字级别信息是否能提升词汇语义元预测性能，尤其是在低频或未登录词上？
• RQ2 将字级别语义与外部上下文嵌入结合，如何影响语义元预测的准确率与鲁棒性？
• RQ3 字级别知识在多大程度上可弥补稀有或未见词中上下文信号的缺失？
• RQ4 所提框架在HowNet中不同词频分布下是否保持一致的性能表现？
• RQ5 字级别建模能否捕捉到语义上有意义的成分（如'铁'代表'iron'），而这些成分无法仅从上下文推断？

主要发现

• CSP框架在HowNet语义元预测基准上实现了最先进性能，显著优于现有基线模型。
• 该模型在所有词频区间均保持稳健性能，MAP得分稳定，表明其对低频与稀有词具有强大的泛化能力。
• 对于复合词'钟表匠'（clockmaker），仅依赖外部上下文的模型未能推荐'时间'（time）与'用具'（tool）等语义元，而CSP通过字级别推理正确推断出'时间'与'工具'（tool）。
• 对于音译词'奥斯卡'（Oscar），内部模型正确识别出'专'（ProperName）与'地方'（place），表明字级别知识能捕捉到外来词中的词素模式。
• 案例研究证实，字级别信息被有效整合进预测过程，即使在上下文嵌入具有误导性时，也能实现准确的语义元推断。
• 集成模型（CSP）表现最佳，表明结合内部与外部信号相比单一模态，能获得更优结果。