[论文解读] A Systematic Study of Leveraging Subword Information for Learning Word Representations

Yi Zhu, Ivan Vulić+1 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 54被引用 8

一句话总结

本文提出了一种统一框架，通过系统性地改变词分段方法（例如，BPE、Morfessor、有监督方法）和子词组合函数（例如，加法、自注意力、位置嵌入），实现子词信息增强的词表示学习。主要发现是：最优配置在很大程度上取决于语言类型和下游任务，无监督分段与简单组合（例如加法）通常优于更复杂或有监督的替代方案。

ABSTRACT

The use of subword-level information (e.g., characters, character n-grams, morphemes) has become ubiquitous in modern word representation learning. Its importance is attested especially for morphologically rich languages which generate a large number of rare words. Despite a steadily increasing interest in such subword-informed word representations, their systematic comparative analysis across typologically diverse languages and different tasks is still missing. In this work, we deliver such a study focusing on the variation of two crucial components required for subword-level integration into word representation models: 1) segmentation of words into subword units, and 2) subword composition functions to obtain final word representations. We propose a general framework for learning subword-informed word representations that allows for easy experimentation with different segmentation and composition components, also including more advanced techniques based on position embeddings and self-attention. Using the unified framework, we run experiments over a large number of subword-informed word representation configurations (60 in total) on 3 tasks (general and rare word similarity, dependency parsing, fine-grained entity typing) for 5 languages representing 3 language types. Our main results clearly indicate that there is no "one-sizefits-all" configuration, as performance is both language- and task-dependent. We also show that configurations based on unsupervised segmentation (e.g., BPE, Morfessor) are sometimes comparable to or even outperform the ones based on supervised word segmentation.

研究动机与目标

• 研究子词级别信息如何在多种语言和任务中改善词表示学习。
• 识别在不同语言和任务背景下，哪种分段与组合方法能取得最佳性能。
• 评估位置嵌入和自注意力等高级组件对模型性能的影响。
• 确定无监督分段方法是否能在子词信息增强模型中达到或超过有监督方法的性能。

提出的方法

• 该框架将词分段与子词组合整合为统一流程，支持灵活地实验不同组件。
• 分段通过无监督方法（BPE、Morfessor）或有监督系统实现，从输入词生成子词单元。
• 使用多种函数将子词嵌入组合为最终的词表示：简单加法、逐元素相乘或自注意力机制。
• 引入位置嵌入以建模子词位置的影响，提升表示质量。
• 支持插件式集成词形标签（st）和组合策略（pp、mp），以探索其影响。
• 以skip-gram模型作为基础的词级表示学习器，子词组件被输入到上下文预测目标中。

实验结果

研究问题

• RQ1 是否存在一种在所有语言和任务中都适用的最优分段与组合方法配置？
• RQ2 无监督分段方法（如BPE、Morfessor）与有监督分段在性能上如何比较？
• RQ3 位置嵌入和自注意力等高级组件在不同任务和语言中对性能的提升程度如何？
• RQ4 包含完整词表示（ww）是否能提升性能，尤其是在罕见词上？
• RQ5 在注意力机制组合中，词形标签（st）是否具有实际效用？

主要发现

• 无监督分段方法（如BPE、Morfessor）在形态丰富的语言中通常与或优于有监督分段，尤其在这些语言中表现更优。
• 加法组合函数在所有任务和语言中均表现出稳定强性能，在大多数情况下优于自注意力等更复杂的方法。
• 位置嵌入（pp、mp）在实体类型分类和依存句法分析任务中显著提升性能，其中mp在识别根位置方面尤为有效。
• 在屈折语和黏着语中，BPE与词级表示（ww）的组合在词相似度任务中表现最佳。
• 自注意力与词形标签（st）仅在特定场景下（如黏着语中的词相似度任务）显示出优势，表明其泛化能力有限。
• 微调子词信息增强的表示能显著改善罕见词的语义表示，最佳配置在CARD罕见词相似度基准上比SOTA模型高出0.111的相似度得分。