[论文解读] Do We Really Need Fully Unsupervised Cross-Lingual Embeddings?

Ivan Vulić, Goran Glavašš+2 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 56被引用 6

一句话总结

本文通过证明仅使用500–1,000组种子翻译对的弱监督方法在210种语言对上始终优于最稳健的无监督CLWE方法，挑战了完全无监督跨语言词嵌入（CLWE）方法的必要性。作者表明，无监督方法真正强大的原因并非其缺乏监督，而在于其先进的自学习和预处理组件，这些组件同样可应用于弱监督设置。

ABSTRACT

Recent efforts in cross-lingual word embedding (CLWE) learning have predominantly focused on fully unsupervised approaches that project monolingual embeddings into a shared cross-lingual space without any cross-lingual signal. The lack of any supervision makes such approaches conceptually attractive. Yet, their only core difference from (weakly) supervised projection-based CLWE methods is in the way they obtain a seed dictionary used to initialize an iterative self-learning procedure. The fully unsupervised methods have arguably become more robust, and their primary use case is CLWE induction for pairs of resource-poor and distant languages. In this paper, we question the ability of even the most robust unsupervised CLWE approaches to induce meaningful CLWEs in these more challenging settings. A series of bilingual lexicon induction (BLI) experiments with 15 diverse languages (210 language pairs) show that fully unsupervised CLWE methods still fail for a large number of language pairs (e.g., they yield zero BLI performance for 87/210 pairs). Even when they succeed, they never surpass the performance of weakly supervised methods (seeded with 500-1,000 translation pairs) using the same self-learning procedure in any BLI setup, and the gaps are often substantial. These findings call for revisiting the main motivations behind fully unsupervised CLWE methods.

研究动机与目标

• 评估完全无监督CLWE方法在低资源和远距离语言对中是否真正必要或有效。
• 调查在多种语言对中，无监督与弱监督CLWE方法在双语词典归纳（BLI）中的性能差距。
• 确定无监督CLWE的成功是否源于其自学习和预处理组件，而非缺乏监督。
• 评估无监督CLWE方法在领域不匹配及类型学多样性语言中的鲁棒性。
• 倡导将关注点从完全无监督方法转向利用最小监督与强大组件的策略

提出的方法

• 在15种不同语言上开展了大规模BLI评估，覆盖210种语言对，以比较无监督与弱监督CLWE方法。
• 在无监督和弱监督设置中均使用相同的自学习过程（C2）和预/后处理步骤（C3），以隔离种子词典获取的影响。
• 使用拓扑相似性提取种子词典（C1）来评估无监督方法，而弱监督方法则使用500–1,000组人工精心筛选的种子词典。
• 应用标准CLWE技术，包括单位长度归一化、均值中心化以及（去）白化，以提高鲁棒性。
• 在不同类型距离和领域相似性各异的语言对上比较性能。
• 使用标准MUSE BLI测试集对三种语言对进行验证，以确保结果可靠性

实验结果

研究问题

• RQ1 完全无监督CLWE方法在双语词典归纳中是否实现了优于或至少与弱监督方法相当的性能？
• RQ2 当应用于远距离和类型学异质性语言对时，无监督CLWE方法的鲁棒性如何？
• RQ3 无监督CLWE的成功在多大程度上依赖于自学习和预处理组件，而非缺乏监督？
• RQ4 仅使用500–1,000组种子对的弱监督CLWE方法是否能在所有语言对（包括存在领域不匹配的情况）中超越无监督方法？
• RQ5 是否存在明确的完全无监督CLWE使用场景？其核心组件能否有效迁移到弱监督设置中？

主要发现

• 在210种语言对中的87对中，完全无监督CLWE方法未能取得有意义的性能，BLI性能接近零。
• 即使在成功的情况下，无监督CLWE方法的性能也从未超过仅使用500–1,000组种子翻译对的弱监督方法。
• 自学习过程（C2）和预/后处理（C3）组件是无监督方法鲁棒性的关键，而非缺乏监督。
• 使用500–1,000组种子对的弱监督方法在全部210种语言对中均表现出一致的高性能，且无失败案例。
• 当单语词向量在领域不匹配的语料上训练时，无监督CLWE方法完全失效，凸显其对数据分布的敏感性。
• 本研究中表现最佳的方法FULL+SL+SYM使用了小规模种子词典，并结合对称最近邻过滤，表明对种子词典进行去噪比完全无监督更有效。