[论文解读] Learning Cross-lingual Embeddings from Twitter via Distant Supervision

José Camacho-Collados, Yerai Doval+4 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 49被引用 4

一句话总结

本文提出了一种简单的后处理技术，通过在推文数据中对跨语言词嵌入中的相同标记（如混用语言的词汇、数字和表情符号）进行向量平均，实现对齐。尽管社交媒体文本存在噪声，该方法仍显著提升了当前最先进的跨语言词嵌入模型性能，在零样本跨语言情感分析中达到最高80%的准确率，并在某些情况下使性能提升超过40%。

ABSTRACT

Cross-lingual embeddings represent the meaning of words from different languages in the same vector space. Recent work has shown that it is possible to construct such representations by aligning independently learned monolingual embedding spaces, and that accurate alignments can be obtained even without external bilingual data. In this paper we explore a research direction that has been surprisingly neglected in the literature: leveraging noisy user-generated text to learn cross-lingual embeddings particularly tailored towards social media applications. While the noisiness and informal nature of the social media genre poses additional challenges to cross-lingual embedding methods, we find that it also provides key opportunities due to the abundance of code-switching and the existence of a shared vocabulary of emoji and named entities. Our contribution consists of a very simple post-processing step that exploits these phenomena to significantly improve the performance of state-of-the-art alignment methods.

研究动机与目标

• 探索在无需外部双语监督的情况下，直接从嘈杂的、用户生成的推文文本中学习高质量跨语言词嵌入的可行性。
• 研究在低资源、多语言社交媒体环境中，共享词汇现象（如混用语言、数字和表情符号）是否可作为自然对齐信号。
• 开发并评估一种轻量级后处理方法，利用跨语言中相同的标记来提升跨语言词嵌入质量。
• 在下游任务（如词翻译和零样本跨语言情感分析）中展示该方法的有效性，尤其针对低资源语言。
• 为英语、西班牙语、意大利语、德语、波斯语、芬兰语和日语提供预训练的单语和跨语言词嵌入，以促进更广泛的研究应用。

提出的方法

• 该方法从多个语言的单语推文语料库上训练的当前最先进的无监督跨语言词嵌入模型（如VecMap）开始。
• 引入一个后处理步骤，识别跨语言中相同的标记（如共享词汇、数字和表情符号），并将其初始词向量在共享嵌入空间中进行平均以实现对齐。
• 该方法采用加权后处理策略，根据其感知可靠性和频率，为不同类型相同标记（如词汇与表情符号）分配不同的重要性。
• 该技术在初始对齐之后应用，因此与任何现有的无监督跨语言映射方法兼容。
• 该方法利用多语言推文中混用语言和共享词汇的丰富性，将这些现象视为隐式监督信号。
• 最终的嵌入在词翻译和零样本跨语言情感分析任务中进行评估，其中不使用目标语言的任何训练数据。

实验结果

研究问题

• RQ1 嘈杂的、用户生成的社交媒体文本（如推文）是否可有效用于在无外部双语监督的情况下学习高质量的跨语言词嵌入？
• RQ2 共享标记（如数字、表情符号和混用语言的词汇）在多语言词嵌入学习中在多大程度上可作为可靠的对齐信号？
• RQ3 基于相同标记向量平均的简单后处理策略，如何提升当前最先进的无监督跨语言对齐方法的性能？
• RQ4 该方法是否可在跨语言情感分析中实现强大的零样本性能，尤其对波斯语等低资源语言？
• RQ5 性能增益是否依赖于所使用的共享标记类型（如词汇与表情符号），以及对这些类型加权是否能进一步提升结果？

主要发现

• 所提出的后处理技术在无任何目标语言标注数据的情况下，相较于最先进方法，在多个案例中使跨语言词翻译和情感分析性能提升超过40%。
• 该方法在零样本跨语言情感分析中最高可达到80%的准确率，表明在英语与波斯语等语言之间具有强大的迁移能力。
• 使用包含所有相同标记（包括词汇、数字和表情符号）的字典，可在所有语言和任务中持续获得最佳结果，且在大多数情况下优于单独使用某类标记。
• 加权后处理策略有效利用了共享标记的异质性，表明并非所有相同标记对对齐质量的贡献均等。
• 即使在英语-波斯语等远距离语言对中，该方法也显著提升了对齐性能，尽管在极不相似的语言之间仍存在挑战。
• 消融实验确认，共享词汇（跨语言同形词）对性能贡献最大，但仅使用数字和表情符号在许多场景下也足以实现显著增益。