[论文解读] Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind

Zheng Zhang, Ruiqing Yin+2 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 12被引用 5

一句话总结

本文通过将多义词的词元嵌入视为噪声（移除）或用聚类级别的平均锚点替换平均锚点（替换），提出改进跨语言上下文词嵌入对齐。实验表明，在无监督双语词典归纳任务中性能显著提升，提升超过10个百分点，同时保持宏观性能，尤其在多义词上表现更优。

ABSTRACT

Recent work in cross-lingual contextual word embedding learning cannot handle multi-sense words well. In this work, we explore the characteristics of contextual word embeddings and show the link between contextual word embeddings and word senses. We propose two improving solutions by considering contextual multi-sense word embeddings as noise (removal) and by generating cluster level average anchor embeddings for contextual multi-sense word embeddings (replacement). Experiments show that our solutions can improve the supervised contextual word embeddings alignment for multi-sense words in a microscopic perspective without hurting the macroscopic performance on the bilingual lexicon induction task. For unsupervised alignment, our methods significantly improve the performance on the bilingual lexicon induction task for more than 10 points.

研究动机与目标

• 研究多义词词元嵌入的几何分布及其与词义的关系。
• 识别当前跨语言映射方法在应用于多义词时的局限性，特别是由于将词元嵌入平均为单一锚点所导致的问题。
• 通过将多义词嵌入视为噪声或用基于词义聚类的锚点替换平均锚点，改进有监督和无监督的跨语言对齐。
• 在不降低宏观对齐质量的前提下，提升双语词典归纳性能。

提出的方法

• 移除包含同音词或多义词词干形式的翻译对，以减少噪声监督。
• 使用k-means聚类对词元嵌入进行聚类，将标准平均锚点嵌入替换为基于聚类的平均锚点嵌入。
• 使用ELMo的第一个LSTM层输出生成多义词的上下文词元嵌入。
• 在所提出的锚点修改基础上，应用有监督和无监督的跨语言映射框架（如MUSE、线性映射）。
• 可视化嵌入空间，分析多义词嵌入的空间聚类及其与目标语言词的对齐情况。
• 使用双语词典归纳任务中的top-k精确率（P@k）评估性能。

实验结果

研究问题

• RQ1 多义词词元嵌入的几何分布如何与其不同的词义相关？
• RQ2 将多个特定词义的词元嵌入平均为单一锚点，在多大程度上会降低跨语言对齐质量？
• RQ3 移除包含同音词或多义词词干形式的翻译对，能否提升对齐准确率？
• RQ4 用基于聚类的平均锚点替换平均锚点，是否能在有监督和无监督设置下均带来更好的性能？
• RQ5 所提出的方法能否在不损害宏观对齐性能的前提下，提升无监督双语词典归纳性能？

主要发现

• 移除包含同音词或多义词词干形式的翻译对，使无监督词典归纳在P@top1上提升超过10个百分点。
• 用基于聚类的平均锚点替换平均锚点，在无监督双语词典归纳任务中表现最佳，尤其在使用ELMo的第一个LSTM层输出时效果更显著。
• 基于形式的移除方法纠正了多个基线错误，例如将'commands'映射到'instructions'，将'galaxy'映射到'titan'，表明词义层面的对齐得到改善。
• 该方法在有监督对齐任务中保持或略有提升，P@1差异仅约0.6%，表明宏观性能未下降。
• 可视化结果表明，移除与同音词相关的监督后，法语词'banque'更接近英语中'bank'的金融义聚类，表明词义特定对齐更优。
• 结果表明，多义词嵌入并非均匀分布，词义层面的聚类对有效跨语言映射至关重要。