[论文解读] Sememe Prediction: Learning Semantic Knowledge from Unstructured Textual Wiki Descriptions

Wei Li, Xuancheng Ren+4 more|arXiv (Cornell University)|Aug 16, 2018

Topic Modeling参考文献 15被引用 20

一句话总结

本文提出LD-seq2seq，一种标签分布化的序列到序列模型，采用软损失函数从非结构化的维基描述中预测词汇语义元，将该任务视为弱序多标签问题。该模型在所有基线模型中表现最优，甚至在测试集的一个子集上超越了业余人类标注者，证明了从文本维基内容中有效获取自动语义知识的能力。

ABSTRACT

Huge numbers of new words emerge every day, leading to a great need for representing them with semantic meaning that is understandable to NLP systems. Sememes are defined as the minimum semantic units of human languages, the combination of which can represent the meaning of a word. Manual construction of sememe based knowledge bases is time-consuming and labor-intensive. Fortunately, communities are devoted to composing the descriptions of words in the wiki websites. In this paper, we explore to automatically predict lexical sememes based on the descriptions of the words in the wiki websites. We view this problem as a weakly ordered multi-label task and propose a Label Distributed seq2seq model (LD-seq2seq) with a novel soft loss function to solve the problem. In the experiments, we take a real-world sememe knowledge base HowNet and the corresponding descriptions of the words in Baidu Wiki for training and evaluation. The results show that our LD-seq2seq model not only beats all the baselines significantly on the test set, but also outperforms amateur human annotators in a random subset of the test set.

研究动机与目标

• 从维基页面的非结构化文本描述中自动预测词汇语义元，以实现可扩展的语义知识获取。
• 解决在 NLP 系统中为新词表示结构化语义意义的挑战。
• 克服基于语义元的知识库手动构建的局限性，该方法耗时且过时。
• 利用社区生成的维基内容作为可扩展的语义知识来源。
• 通过建模弱标签排序并减少对标签顺序假设的敏感性，改进 NLP 中的多标签预测。

提出的方法

• 提出一种标签分布化的序列到序列（LD-seq2seq）模型，将语义元预测视为弱序多标签任务。
• 引入一种新颖的软损失函数，将独热标签目标转换为概率分布，降低模型对严格标签顺序的依赖。
• 采用多资源编码器，聚合来自多个维基来源（如百度百科）的描述，以提升鲁棒性和覆盖度。
• 使用 HowNet 语义元知识库作为训练和评估的参考标准。
• 应用带有注意力机制的序列到序列学习，从维基文本生成语义元序列。
• 实施启发式词义对齐步骤，将描述与相关语义元意义关联，尽管论文指出该步骤存在局限性。

实验结果

研究问题

• RQ1 非结构化的维基描述能否被有效利用以自动预测词汇语义元？
• RQ2 如何将序列到序列模型适配以处理语义知识获取中的弱序多标签预测？
• RQ3 当在维基文本上进行训练时，神经网络模型在语义元预测方面在多大程度上能超越人类标注者？
• RQ4 从维基描述中进行语义元预测的主要失败模式是什么，以及如何缓解？
• RQ5 整合多个维基来源在多大程度上能提升语义元预测的鲁棒性和准确性？

主要发现

• LD-seq2seq 模型在语义元预测任务上显著优于所有基线模型，证明了软损失函数和标签分布方法的有效性。
• 该模型在测试集一个随机选取的子集上的表现超过了业余人类标注者，表明其具备强大的泛化能力和鲁棒性。
• 错误分析显示，20.69% 的错误源于标签位置或上下文错位，尤其是在描述强调空间或物理位置时。
• 多义性导致了 17.24% 的错误，即维基描述所指的意义与 HowNet 中参考语义元不一致。
• 复杂或冗长的描述（占错误的 10.34%）通常包含多个意义，导致模型因启发式对齐而聚焦于不相关部分。
• 一小部分错误（3.45%）源于过于简单的维基描述，缺乏足够的语义细节，难以实现准确预测。