[论文解读] Language Modeling with Sparse Product of Sememe Experts

Yihong Gu, Jun Yan+6 more|arXiv (Cornell University)|Oct 29, 2018

Topic Modeling参考文献 34被引用 6

一句话总结

本文提出语义素驱动语言建模（SDLM），一种通过稀疏语义专家乘积整合《哈工大知网》（HowNet）词汇语义素知识的新型方法。通过在语义素层面建模词预测，SDLM 提升了模型性能与可解释性，在中文语言建模与标题生成任务中均取得最先进结果，采用分层语义素-语义项-词生成流程。

ABSTRACT

Most language modeling methods rely on large-scale data to statistically learn the sequential patterns of words. In this paper, we argue that words are atomic language units but not necessarily atomic semantic units. Inspired by HowNet, we use sememes, the minimum semantic units in human languages, to represent the implicit semantics behind words for language modeling, named Sememe-Driven Language Model (SDLM). More specifically, to predict the next word, SDLM first estimates the sememe distribution gave textual context. Afterward, it regards each sememe as a distinct semantic expert, and these experts jointly identify the most probable senses and the corresponding word. In this way, SDLM enables language models to work beyond word-level manipulation to fine-grained sememe-level semantics and offers us more powerful tools to fine-tune language models and improve the interpretability as well as the robustness of language models. Experiments on language modeling and the downstream application of headline gener- ation demonstrate the significant effect of SDLM. Source code and data used in the experiments can be accessed at https:// github.com/thunlp/SDLM-pytorch.

研究动机与目标

• 为解决传统语言模型将词语视为原子单元、缺乏细粒度语义结构建模的局限性。
• 通过引入 HowNet 的语义素标注中的显式语义知识，提升模型的可解释性与鲁棒性。
• 构建一种超越词级模式的神经语言模型，利用语义素级语义专家作为中间表示。
• 在语言建模与抽象文本生成任务中，验证语义素驱动建模的有效性。

提出的方法

• 模型首先使用上下文编码器估计给定文本上下文的语义素分布。
• 每个语义素被视为独立的语义专家，采用稀疏专家乘积机制选择最可能的词义。
• 通过在预测的词义分布上进行边缘化计算，得到最终的词分布，其中每个词义通过语义素-词映射与具体词语关联。
• 利用 HowNet 的分层结构组织语义素与词义，实现在解码过程中结构化的语义推理。
• 模型通过在语言建模与标题生成目标上使用交叉熵损失进行端到端训练。
• 提出一种新型解码策略，将语义素预测与词生成整合为一个联合、可解释的流水线。

实验结果

研究问题

• RQ1 将 HowNet 的显式语义知识引入是否能提升神经语言模型在中文文本生成任务中的性能？
• RQ2 与词级建模相比，基于语义素层面的语言生成建模在可解释性与鲁棒性方面有何提升？
• RQ3 稀疏语义专家乘积机制能否有效捕捉并利用细粒度语义差异以实现精准的词预测？
• RQ4 在低资源或歧义性较高的语言生成场景中，语义素感知建模能在多大程度上提升性能？
• RQ5 HowNet 中语义素的分层结构在语言建模中如何促进更好的泛化能力？

主要发现

• SDLM 在《人民日报》中文语言建模数据集上达到最先进性能，超越所有数据驱动基线模型。
• 在 LCSTS 数据集上的标题生成任务中，模型表现显著提升，表明其抽象生成质量更优。
• 案例研究证实，SDLM 能够从上下文中有效预测相关语义素，验证了其可解释性与语义推理能力。
• 语义素知识的引入使模型在歧义上下文中预测更加鲁棒，例如在金融文本中准确区分货币单位。
• 稀疏专家乘积机制实现了高效且精准的词义选择，每个语义素专家仅负责预测特定子集的词语。
• 模型展现出强大的泛化能力，尤其通过语义素级消歧，有效处理罕见词与多义词。