[论文解读] Bilingual Lexicon Induction with Semi-supervision in Non-Isometric Embedding Spaces

Barun Patra, Joel Ruben Antony Moniz+3 more|arXiv (Cornell University)|Aug 19, 2019

Natural Language Processing Techniques参考文献 25被引用 5

一句话总结

本文提出 BLISS，一种半监督双语词典归纳方法，通过使用新颖的枢纽性过滤技术并联合优化监督对齐、无监督分布匹配以及反向翻译损失，放松了词嵌入空间之间正交映射的强等距假设。BLISS 在 MUSE 基准测试的 18 个语言对中的 15 个上达到最先进性能，尤其在词源上相距较远的语言对中表现优异，此时等距假设会失效。

ABSTRACT

Recent work on bilingual lexicon induction (BLI) has frequently depended either on aligned bilingual lexicons or on distribution matching, often with an assumption about the isometry of the two spaces. We propose a technique to quantitatively estimate this assumption of the isometry between two embedding spaces and empirically show that this assumption weakens as the languages in question become increasingly etymologically distant. We then propose Bilingual Lexicon Induction with Semi-Supervision (BLISS) --- a semi-supervised approach that relaxes the isometric assumption while leveraging both limited aligned bilingual lexicons and a larger set of unaligned word embeddings, as well as a novel hubness filtering technique. Our proposed method obtains state of the art results on 15 of 18 language pairs on the MUSE dataset, and does particularly well when the embedding spaces don't appear to be isometric. In addition, we also show that adding supervision stabilizes the learning procedure, and is effective even with minimal supervision.

研究动机与目标

• 调查双语词嵌入空间之间正交映射所依赖的等距假设的有效性。
• 解决纯监督和无监督 BLI 方法的局限性，特别是在语言间存在词源和类型学差异的情况下。
• 开发一种半监督框架，利用有限的对齐词典和大规模未对齐嵌入，以提升鲁棒性和性能。
• 使用 Gromov-Hausdorff 距离量化非等距嵌入空间中等距失败的程度，并通过实证方法加以验证。
• 证明即使是最小程度的监督也能稳定训练并改善收敛性，尤其是在嵌入质量较低或空间相距较远时。

提出的方法

• 提出一种新颖的定量方法，通过 Vietoris-Rips 滤波的持久性图之间的 Bottleneck 距离近似 Gromov-Hausdorff (GH) 距离，以估计嵌入空间之间的等距性。
• 提出 BLISS，一种半监督框架，联合优化三个目标：监督嵌入对齐、通过 CSLS 实现的无监督分布匹配，以及反向翻译损失，以强制实现弱正交性。
• 采用一种新颖的枢纽性过滤技术，以减少嵌入空间中高阶邻居的影响，提升最近邻搜索的可靠性。
• 使用自编码损失以数据驱动方式灵活控制正交性的程度，避免先前方法中对超参数 β 的敏感性。
• 在基于 GAN 的训练设置中，对生成器网络应用均值中心化以及身份或随机正交初始化。
• 采用基于 GAN 的训练流程，包含判别器和生成器，使用余弦相似度作为特征函数，枢纽性阈值设为 20。

实验结果

研究问题

• RQ1 对于词源上相距较远的语言对，双语嵌入空间之间的等距假设在多大程度上会失效？
• RQ2 当等距假设被违反时，半监督方法能否提升双语词典归纳的性能？
• RQ3 在低资源或高可变性设置下，最小程度的监督如何影响 BLI 模型的稳定性和收敛性？
• RQ4 枢纽性过滤是否能显著减少与多义性和反义性相关的词向量相似性错误？
• RQ5 通过自编码损失实现的数据驱动正交性约束，是否能在鲁棒性和性能上超越固定 β 投影方法？

主要发现

• BLISS 在 MUSE 基准测试的 18 个语言对中的 15 个上达到最先进性能，尤其在词源上相距较远的语言对（如 en-zh 和 en-ru）中表现突出。
• Gromov-Hausdorff 距离分析证实，对于远距离语言对，等距性显著失效，en-zh 的 GH 距离为 171.1，en-ru 为 102.5。
• 即使添加少量对齐词典种子，也能稳定训练并使原本失败的无监督基线方法实现收敛，尤其在嵌入质量较差时效果显著。
• BLISS 中的自编码损失在不同语言对上均表现稳定，无需对 β 进行精细调参，而 β 投影方法则对 β 值高度敏感。
• 错误分析表明，多义性和反义性是主要错误来源，但 BLISS 通过枢纽性过滤和联合优化改善了邻居选择，从而降低了这些错误。
• 在相同监督量下，BLISS 超过监督和无监督基线方法，证明了弱监督与无监督分布匹配相结合的有效性。