[论文解读] KNET: A General Framework for Learning Word Embedding using Morphological Knowledge

Qing Cui, Bin Gao+3 more|arXiv (Cornell University)|Jul 7, 2014

Topic Modeling参考文献 30被引用 7

一句话总结

KNET 提出了一种新颖的神经网络框架，通过联合利用 skip-gram 模型的上下文信息与形态学知识（如编辑距离、最长公共子串、词素和音节相似性），在训练过程中动态调整各成分的依赖权重，从而提升词嵌入质量。该方法显著改善了罕见词和未见词的表示效果，其中形态学知识在低频词上表现尤为突出，并在类比推理与词相似性任务上达到最先进水平。

ABSTRACT

Neural network techniques are widely applied to obtain high-quality distributed representations of words, i.e., word embeddings, to address text mining, information retrieval, and natural language processing tasks. Recently, efficient methods have been proposed to learn word embeddings from context that captures both semantic and syntactic relationships between words. However, it is challenging to handle unseen words or rare words with insufficient context. In this paper, inspired by the study on word recognition process in cognitive psychology, we propose to take advantage of seemingly less obvious but essentially important morphological knowledge to address these challenges. In particular, we introduce a novel neural network architecture called KNET that leverages both contextual information and morphological word similarity built based on morphological knowledge to learn word embeddings. Meanwhile, the learning architecture is also able to refine the pre-defined morphological knowledge and obtain more accurate word similarity. Experiments on an analogical reasoning task and a word similarity task both demonstrate that the proposed KNET framework can greatly enhance the effectiveness of word embeddings.

研究动机与目标

• 为解决现有仅依赖上下文的模型在训练信号不足时难以有效学习罕见词与未见词嵌入的问题。
• 将形态学知识（如词根、词缀与音节结构）整合进深度学习框架，以提升词表示质量。
• 通过可学习的系数动态平衡上下文信息与形态学相似性的依赖程度，使模型能根据词频自适应调整。
• 在训练过程中通过与上下文模式对齐，优化形态学知识，减少错误的相似性预测。
• 开发一种适用于形态丰富语言、数据有限且词汇量庞大的通用框架。

提出的方法

• KNET 采用双分支神经网络架构：一个分支使用 skip-gram 模型捕捉上下文中的词共现模式，另一分支则通过编辑距离、最长公共子串、词素和音节相似性编码形态学相似性。
• 形态学相似性以词之间的关系矩阵形式表示，并输入形态学知识分支以指导嵌入学习。
• 两个分支共享相同的词嵌入空间，并通过可学习的权衡系数（c₁ 和 c₂）进行融合，以确定上下文与形态学对最终预测的相对贡献。
• 在反向传播过程中，模型联合更新词嵌入、权衡系数与形态学关系矩阵，以最大化上下文预测与形态学相似性之间的一致性。
• 模型自动学习在低频词上优先依赖形态学知识，在高频词上更依赖上下文信息，如不同词频桶中学习到的 c₁/c₂ 比值所示。
• 该框架在大规模语料上端到端训练，形态学知识分支在优化过程中被持续精炼，以提高准确性并减少虚假相似性。

实验结果

研究问题

• RQ1 当上下文信号不足时，形态学知识能否提升罕见词与未见词的词嵌入质量？
• RQ2 如何在不引入错误类比噪声的前提下，有效将形态学相似性整合进深度学习框架？
• RQ3 模型能否根据词频动态调整对上下文与形态学的依赖程度？
• RQ4 在训练过程中对形态学知识进行精炼，能否提升词表示的整体质量？
• RQ5 KNET 框架在词相似性与类比任务上相较于标准 skip-gram 模型的性能优势有多大？

主要发现

• 使用词素与音节相似性作为形态学特征的模型，在罕见词上的表现优于使用编辑距离或 LCS 的模型。
• 当频率桶数量处于中等范围时，整体的 c₁/c₂ 比值最高，表明上下文与形态学的使用达到最佳平衡。
• 在 WordSim-353 数据集（主要为高频词）上，更依赖上下文（c₁/c₂ 较低）的模型表现更优，证实了高频词中上下文的主导作用。
• 在 RareWord 数据集（主要为低频词）上，更依赖形态学（c₁/c₂ 较高）的模型表现显著更优，证明了形态学知识在低频词上的有效性。
• 模型在未显式提供频率监督的情况下，自动实现了从依赖上下文向依赖形态学的转变，随词频降低而调整。
• 使用最多形态学特征（如词素与音节）的模型在罕见词任务上表现始终更优，表明更丰富的形态学分析能增强泛化能力。