[论文解读] Multi hash embeddings in spaCy

Lester James V. Miranda, Ákos Kádár+4 more|arXiv (Cornell University)|Dec 19, 2022

Topic Modeling被引用 4

一句话总结

本文提出 MultiHashEmbed，一种在 spaCy 中实现的内存高效词嵌入方法，通过使用多个哈希函数和词形特征（归一化、前缀、后缀、形状）生成密集向量表示，而无需存储单独的词向量。实验表明，该方法在显著降低内存使用的同时实现了具有竞争力的命名实体识别（NER）性能，尽管在大多数情况下多个哈希函数带来的性能提升有限，仅在大型数据集（如 OntoNotes）上，使用三个哈希函数使 F1 提升了 5%。

ABSTRACT

The distributed representation of symbols is one of the key technologies in machine learning systems today, playing a pivotal role in modern natural language processing. Traditional word embeddings associate a separate vector with each word. While this approach is simple and leads to good performance, it requires a lot of memory for representing a large vocabulary. To reduce the memory footprint, the default embedding layer in spaCy is a hash embeddings layer. It is a stochastic approximation of traditional embeddings that provides unique vectors for a large number of words without explicitly storing a separate vector for each of them. To be able to compute meaningful representations for both known and unknown words, hash embeddings represent each word as a summary of the normalized word form, subword information and word shape. Together, these features produce a multi-embedding of a word. In this technical report we lay out a bit of history and introduce the embedding methods in spaCy in detail. Second, we critically evaluate the hash embedding architecture with multi-embeddings on Named Entity Recognition datasets from a variety of domains and languages. The experiments validate most key design choices behind spaCy's embedders, but we also uncover a few surprising results.

研究动机与目标

• 设计一种传统词嵌入的内存高效替代方案，可在无需显式存储词向量的情况下扩展至大规模词汇表。
• 评估 spaCy 中 MultiHashEmbed 架构在多样化 NER 数据集和语言上的有效性。
• 识别影响性能和内存使用的关键超参数，如哈希函数数量和特征类型。
• 为用户提供实证指导，以自定义 spaCy 默认 NER 流程，实现更高的效率和准确性。
• 评估额外的词形特征是否能提升泛化能力，特别是在 OOV 或罕见词上的表现。

提出的方法

• MultiHashEmbed 使用哈希技巧将词语映射为固定大小的向量表示，而无需为每个词单独存储向量，从而减少内存占用。
• 每个词通过归一化形式、前缀、后缀和词形特征的组合进行编码，这些特征被独立地哈希到嵌入空间中。
• 系统采用多个哈希函数（1–4 个）以降低碰撞风险，并提升词汇表中向量的唯一性。
• 嵌入向量在 spaCy 的基于 Thinc 的机器学习框架内端到端学习，支持微调并与下游 NER 模型无缝集成。
• 该方法结合子词级表示（受 fastText 启发）与词形模式，以增强对拼写变体和 OOV 词的鲁棒性。
• 实验在多个 NER 数据集上对比了 MultiHashEmbed 与标准密集嵌入模型，测量了不同配置下的 F1 分数和内存效率。

实验结果

研究问题

• RQ1 在多样化领域和语言的命名实体识别任务中，MultiHashEmbed 相较于传统密集词嵌入的性能表现如何？
• RQ2 使用多个哈希函数对嵌入层的准确率和碰撞率有何影响？
• RQ3 词形特征（归一化、前缀、后缀、形状）在多大程度上提升了性能，特别是在罕见词或 OOV 词上的表现？
• RQ4 超参数（如哈希行数和哈希函数数量）如何影响模型准确率和内存使用？
• RQ5 引入子词和词形特征是否能提升泛化能力，还是会导致对已见实体的性能下降？

主要发现

• MultiHashEmbed 在显著降低内存使用的同时实现了与传统嵌入方法相当的 NER 性能，验证了其在效率设计上的有效性。
• 在大型 OntoNotes 数据集上，使用三个哈希函数而非一个，使 F1 提升了 5%，但使用四个函数后未见进一步增益。
• 默认的 2500 个哈希行设置对大多数数据集已足够，超过此阈值增加行数未带来显著性能提升。
• 词形特征在部分数据集（如 AnEM）上提升了整体性能，但意外地在已见实体上导致 F1 降低，提示可能存在过拟合或特征干扰。
• 在较小数据集（如 CoNLL 和 WNUT2017）上，多个哈希函数带来的性能增益有限，可能是因为其他词形特征已有效缓解了碰撞风险。
• 本研究建议用户尝试减少哈希行数并使用单个哈希函数，以在几乎不损失准确率的前提下降低内存占用并提升推理效率。