[论文解读] A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings

Iker García-Ferrero, Rodrigo Agerri+1 more|arXiv (Cornell University)|Jan 17, 2020

Topic Modeling被引用 4

一句话总结

本文提出了一种新颖的方法，通过使用线性变换和平均法将来自不同来源、语言和方法的多样化词嵌入投影到共享语义空间中，从而构建单语和跨语言元嵌入。该方法保留了原始维度，有效处理了未登录词（OOV）问题，并在词相似度和词性标注任务上实现了最先进性能，且无需超参数调优。

ABSTRACT

This paper presents a new technique for creating monolingual and cross-lingual meta-embeddings. Our method integrates multiple word embeddings created from complementary techniques, textual sources, knowledge bases and languages. Existing word vectors are projected to a common semantic space using linear transformations and averaging. With our method the resulting meta-embeddings maintain the dimensionality of the original embeddings without losing information while dealing with the out-of-vocabulary problem. An extensive empirical evaluation demonstrates the effectiveness of our technique with respect to previous work on various intrinsic and extrinsic multilingual evaluations, obtaining competitive results for Semantic Textual Similarity and state-of-the-art performance for word similarity and POS tagging (English and Spanish). The resulting cross-lingual meta-embeddings also exhibit excellent cross-lingual transfer learning capabilities. In other words, we can leverage pre-trained source embeddings from a resource-rich language in order to improve the word representations for under-resourced languages.

研究动机与目标

• 开发一种稳健且可扩展的方法，用于整合来自不同来源的单语和跨语言词嵌入，且不造成信息损失。
• 解决元嵌入构建中常被忽视的未登录词（OOV）问题，该问题若被忽略会显著降低性能。
• 消除对不同嵌入类型进行超参数调优的需求，从而实现一致且高效的集成。
• 通过统一的元嵌入提升内在任务（如词相似度）和外在任务（如词性标注）的性能。
• 通过利用资源丰富的语言中的高质量嵌入，实现有效的跨语言迁移学习，从而改善低资源语言的表示。

提出的方法

• 使用VecMap——一种最先进的向量空间映射技术——将多个源词嵌入投影到公共语义空间中。
• 应用线性变换对来自不同来源、语言和模型的嵌入进行对齐，使其进入共享向量空间。
• 通过平均对齐后的嵌入生成最终的元嵌入，从而保留原始维度并最小化信息损失。
• 引入基于神经网络的OOV处理策略，为在某些源嵌入中缺失的词语分配有意义的表示。
• 在所有实验中保持单一固定超参数，确保方法的简洁性和鲁棒性。
• 将来自多样化来源的嵌入——包括单语和跨语言模型、知识库以及多种语言——整合为统一的元嵌入。

实验结果

研究问题

• RQ1 能否为来自不同语言、来源和模型的异构词嵌入有效构建一个公共语义空间？
• RQ2 在单语和跨语言设置中，对未登录词（OOV）的恰当处理在多大程度上影响元嵌入的质量？
• RQ3 单一的、无需调优的超参数策略在多大程度上优于需要大量调优的现有元嵌入方法？
• RQ4 跨语言元嵌入在多语种下游任务（如词性标注和词相似度）中是否能提升性能？
• RQ5 与先前的线性及神经元嵌入方法相比，该方法是否在内在和外在评估中均实现了最先进结果？

主要发现

• 所提方法在词相似度任务上实现了新的最先进性能，优于先前包括有监督神经模型在内的所有方法。
• 在Universal Dependencies 1.2数据集上的词性标注任务中，该方法在英语上达到96.96%的准确率，在西班牙语上达到97.35%的准确率，创下新的SOTA记录。
• 跨语言元嵌入展现出强大的迁移学习能力，通过利用高质量源嵌入显著提升了低资源语言的表示能力。
• 与基于拼接的基线方法相比，该方法在性能与维度比方面表现更优，避免了拼接带来的高维问题，同时最小化了信息损失。
• OOV处理策略显著提升了性能，因为将OOV词分配为零向量会导致性能大幅下降。
• 该方法具有鲁棒性和高效性，无需对不同类型的嵌入进行超参数调优，可实现大量嵌入的快速集成。