[论文解读] Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing

Tal Schuster, Ori Ram+2 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 56被引用 11

一句话总结

本文提出了一种新颖的方法，通过利用源自单语上下文嵌入空间的上下文无关锚点，实现上下文词嵌入的跨语言对齐。通过使用双语词典对这些锚点进行对齐，并将学习到的映射应用于上下文相关嵌入，该方法实现了有效的零样本和少样本依存句法分析，在六种语言上平均比之前最先进方法提升了6.8 LAS点。

ABSTRACT

We introduce a novel method for multilingual transfer that utilizes deep contextual embeddings, pretrained in an unsupervised fashion. While contextual embeddings have been shown to yield richer representations of meaning compared to their static counterparts, aligning them poses a challenge due to their dynamic nature. To this end, we construct context-independent variants of the original monolingual spaces and utilize their mapping to derive an alignment for the context-dependent spaces. This mapping readily supports processing of a target language, improving transfer by context-aware embeddings. Our experimental results demonstrate the effectiveness of this approach for zero-shot and few-shot learning of dependency parsing. Specifically, our method consistently outperforms the previous state-of-the-art on 6 tested languages, yielding an improvement of 6.8 LAS points on average.

研究动机与目标

• 解决在多语言迁移中对动态、上下文相关的上下文词嵌入进行跨语言对齐的挑战。
• 在低资源设置下，利用上下文嵌入实现有效的零样本和少样本依存句法分析。
• 开发一种在有或无双语词典的情况下均有效的技术，即使原始单语数据有限也能保持有效性。
• 通过利用上下文无关锚点作为对齐复杂、上下文敏感嵌入空间的代理，提升迁移性能。

提出的方法

• 该方法将上下文嵌入空间分解为上下文无关锚点和上下文相关分量，实现在锚点层面的对齐。
• 通过联合优化目标学习线性变换，利用双语词典对上下文无关锚点进行对齐。
• 将学习到的锚点映射应用于对齐完整的上下文嵌入空间，同时保留上下文感知表示。
• 引入一种锚定语言模型，其损失函数包含一个正则化项，使单语锚点在联合嵌入空间中更接近。
• 该方法兼容监督（基于词典）和无监督（合成词典）设置，增强了在低资源场景下的鲁棒性。
• 该方法支持在无需标注数据或词性标签的情况下迁移至目标语言，仅依赖单语文本和词典。

实验结果

研究问题

• RQ1 在无需并行单语句子的情况下，能否有效对齐跨语言的上下文相关上下文嵌入？
• RQ2 在低资源设置下，使用上下文无关锚点如何改善上下文嵌入的对齐？
• RQ3 与之前最先进方法相比，该方法在零样本和少样本依存句法分析中的提升程度如何？
• RQ4 语言模型中的正则化对对齐质量及下游句法分析性能有何影响？
• RQ5 该方法能否在单语数据有限的语言上泛化，即使没有词性标签或大规模平行语料？

主要发现

• 在六种语言的零样本跨语言依存句法分析中，该方法平均比之前最先进方法提升6.8 LAS点。
• 在仅含38个训练句的哈萨克语语料库上，该模型相比CoNLL 2018共享任务的最佳结果，LAS提升5.05点。
• 即使仅使用1万句未标注的西班牙语文本，采用正则化锚定语言模型的模型相比基线仍实现9 LAS点的提升。
• 在六种语言上，该方法平均比fastText嵌入提升3 LAS点和3 UAS点，证明了上下文感知表示的价值。
• 即使没有词性标签或双语词典，该模型仍表现具有竞争力，优于依赖这些信号的上下文无关模型。
• 锚点的使用实现了上下文嵌入的有效对齐，在低资源场景下显著提升了迁移性能。