[论文解读] Semantic properties of English nominal pluralization: Insights from word embeddings

Elnaz Shafaei-Bajestan, Masoumeh Moradipour-Tari+2 more|arXiv (Cornell University)|Mar 29, 2022

Natural Language Processing Techniques被引用 11

一句话总结

本文利用分布语义学与词嵌入研究英语名词复数化的语义聚类，提出一种新方法 CosClassAvg，将复数化建模为上下文敏感的语义迁移，而非固定的向量加法。研究发现复数形式存在语义聚类（例如，水果类词汇形成独立聚类），且 CosClassAvg 在预测语义空间方面优于现有方法 FRACSS，提升了计算听者模型对新复数形式的泛化性能。

ABSTRACT

Semantic differentiation of nominal pluralization is grammaticalized in many languages. For example, plural markers may only be relevant for human nouns. English does not appear to make such distinctions. Using distributional semantics, we show that English nominal pluralization exhibits semantic clusters. For instance, pluralization of fruit words is more similar to one another and less similar to pluralization of other semantic classes. Therefore, reduction of the meaning shift in plural formation to the addition of an abstract plural meaning is too simplistic. A semantically informed method, called CosClassAvg, is introduced that outperforms pluralization methods in distributional semantics which assume plural formation amounts to the addition of a fixed plural vector. In comparison with our approach, a method from compositional distributional semantics, called FRACSS, predicted plural vectors that were more similar to the corpus-extracted plural vectors in terms of direction but not vector length. A modeling study reveals that the observed difference between the two predicted semantic spaces by CosClassAvg and FRACSS carries over to how well a computational model of the listener can understand previously unencountered plural forms. Mappings from word forms, represented with triphone vectors, to predicted semantic vectors are more productive when CosClassAvg-generated semantic vectors are employed as gold standard vectors instead of FRACSS-generated vectors.

研究动机与目标

• 探究英语名词复数化是否表现出超越统一‘复数’含义的语义聚类。
• 挑战复数构词仅在单数词表示上简单添加固定‘复数’向量的假设。
• 开发一种语义感知方法，用于建模复数化，以体现语义类别特异的语义迁移。
• 评估不同语义向量预测方法在计算语言理解模型对新复数形式泛化能力方面的表现。
• 比较 CosClassAvg 与 FRACSS 在复数化组合分布语义中的预测能力。

提出的方法

• 作者使用分布语义学分析大规模语料中的复数化模式，提取单数与复数名词形式的词嵌入。
• 他们应用 t-SNE 可视化与基于 WordNet 的语义聚类，识别出表现出独特复数化模式的语义类别（如水果、动物、工具）。
• 提出一种新方法 CosClassAvg，通过加权余弦相似度，对同一语义类别内单数词嵌入进行平均，计算复数语义向量。
• 该方法将复数化建模为针对每类名词的特定语义迁移，而非统一的向量加法。
• 通过向量方向与长度相似性，将 CosClassAvg 的性能与 FRACSS（一种组合分布语义方法）进行比较，以评估其对语料提取复数向量的预测能力。
• 建模研究评估了基于 CosClassAvg 生成的向量，在训练听者模型时，其对未见复数形式的泛化能力，使用基于三音素的词形表示。

实验结果

研究问题

• RQ1 英语名词复数是否表现出语义聚类，使得特定语义类别（如水果）的复数形式彼此更相似，而与其他类别不同？
• RQ2 在分布语义学中假设复数构词仅添加固定‘复数’向量，是否过于简化了复数构词中的语义迁移？
• RQ3 CosClassAvg 方法（建模类别特异的语义迁移）与 FRACSS 相比，在预测复数向量的方向与大小方面表现如何？
• RQ4 使用 CosClassAvg 生成的语义向量，在多大程度上提升了计算听者模型对新复数形式的泛化性能？
• RQ5 CosClassAvg 与 FRACSS 在预测语义空间上的差异，在语言理解的行为层面上是否具有实际意义？

主要发现

• 英语复数化的语义聚类在经验上可被检测到：水果类词汇的复数形式形成一个独特的语义聚类，与其他类别（如动物或工具）明显不同。
• 假设复数构词仅添加固定‘复数’向量是不充分的，因为复数形式在不同名词类别中表现出系统性的语义差异。
• CosClassAvg 在预测语料提取的复数向量方面优于 FRACSS，尤其在匹配方向与长度方面表现更优，表明其与真实分布模式更一致。
• 当用作标准向量时，CosClassAvg 生成的语义向量能更有效地将词形（通过三音素向量）映射到意义，从而提升听者模型对新复数形式的泛化能力。
• 建模研究证实，CosClassAvg 与 FRACSS 在语义空间结构上的差异对计算语言理解具有可测量的影响，CosClassAvg 能实现更好的泛化。