[论文解读] Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction

Danushka Bollegala, Ryuichi Kiryo+2 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 31被引用 4

一句话总结

本文比较了在多语言词相似度预测中使用子词分词（LIT）的 BPE 与使用语言特定分词（LST）的语言建模方法。通过 SIF 方法组合 GloVe 词嵌入，LIT 在小词汇量（<100K）下优于 LST，表明 LIT 适用于低资源语言或紧凑模型，且子词空间能够保留语义和句法结构。

ABSTRACT

Language-independent tokenisation (LIT) methods that do not require labelled language resources or lexicons have recently gained popularity because of their applicability in resource-poor languages. Moreover, they compactly represent a language using a fixed size vocabulary and can efficiently handle unseen or rare words. On the other hand, language-specific tokenisation (LST) methods have a long and established history, and are developed using carefully created lexicons and training resources. Unlike subtokens produced by LIT methods, LST methods produce valid morphological subwords. Despite the contrasting trade-offs between LIT vs. LST methods, their performance on downstream NLP tasks remain unclear. In this paper, we empirically compare the two approaches using semantic similarity measurement as an evaluation task across a diverse set of languages. Our experimental results covering eight languages show that LST consistently outperforms LIT when the vocabulary size is large, but LIT can produce comparable or better results than LST in many languages with comparatively smaller (i.e. less than 100K words) vocabulary sizes, encouraging the use of LIT when language-specific resources are unavailable, incomplete or a smaller model is required. Moreover, we find that smoothed inverse frequency (SIF) to be an accurate method to create word embeddings from subword embeddings for multilingual semantic similarity prediction tasks. Further analysis of the nearest neighbours of tokens show that semantically and syntactically related tokens are closely embedded in subword embedding spaces

研究动机与目标

• 评估语言无关分词（LIT）是否能在多语言词相似度预测中达到或超越语言特定分词（LST）的性能。
• 评估词汇量对 LIT 与 LST 在多种语言中性能影响。
• 研究平滑逆频率（SIF）在多语言环境下从子词嵌入组合词嵌入的有效性。
• 检验子词嵌入空间是否保留了词嵌入中发现的语义、句法和类比关系。
• 比较在大规模语料上，LIT 方法（BPE 与语言建模）的训练效率。

提出的方法

• 对八种语言应用了 LIT 方法——字节对编码（BPE）和语言建模（LM），未使用任何语言特定资源。
• LST 方法使用人工分词语料和语言特定词典进行训练。
• 子词嵌入通过在 LIT 和 LST 的分词语料上使用 GloVe 学习得到。
• 词嵌入通过平滑逆频率（SIF）方法从子词嵌入组合而成，该方法根据单个词频对子词加权，并去除第一主成分。
• 词对之间的语义相似度通过其组合词嵌入的余弦相似度计算。
• 通过最近邻分析和类比求解来评估子词嵌入空间中的结构特性。

实验结果

研究问题

• RQ1 在多种语言中，语言无关分词（LIT）是否能在词相似度预测中实现与语言特定分词（LST）相当或更优的性能？
• RQ2 词汇量如何影响 LIT 与 LST 在语义相似度任务中的相对性能？
• RQ3 在多语言环境下，平滑逆频率（SIF）方法是否有效用于从子词嵌入组合词嵌入？
• RQ4 子词嵌入空间是否保留了语义和句法关系，如词嵌入空间中所见？
• RQ5 BPE 和语言建模（LM）LIT 方法的训练时间如何随语料规模增加而变化？

主要发现

• 当词汇量低于 100K 时，LIT 方法（BPE 和 LM）在词相似度预测中优于 LST 方法，表明其适用于低资源语言或紧凑模型场景。
• 当词汇量超过 100K 时，LST 稳定优于 LIT，表明 LST 更受益于更大、更高质量的语言资源。
• 平滑逆频率（SIF）方法有效组合了子词嵌入以生成词嵌入，提升了多语言语义相似度任务的性能。
• 最近邻分析显示，语义和句法相关的子词片段在子词嵌入空间中被检索为最相近邻居，表明其具有结构一致性。
• 类比关系——如英语后缀、日语汉字复合词和土耳其动词屈折变化——可在子词嵌入空间中被恢复，证实了其关系结构的存在。
• 语言建模（LM）显著快于 BPE，且在词汇量增大时扩展性更好，其训练时间随词汇量增加而减少，与 BPE 的趋势相反。