[论文解读] Filtered Inner Product Projection for Crosslingual Embedding Alignment

Vin Sachidananda, Ziyi Yang+1 more|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 61被引用 8

一句话总结

该论文提出了一种名为过滤内积投影（Filtered Inner Product Projection, FIPP）的新方法，用于跨语言嵌入对齐。该方法通过在具有相似嵌入间距离的词对过滤集合上对齐源语言和目标语言嵌入的格拉姆矩阵，专注于保持两者之间的共享几何结构。FIPP在XLING（1K和5K）双语词典归纳基准上实现了最先进性能，并在下游任务中表现出强鲁棒性，优于以往的Procrustes和CSLS等方法，同时计算效率更高。

ABSTRACT

Due to widespread interest in machine translation and transfer learning, there are numerous algorithms for mapping multiple embeddings to a shared representation space. Recently, these algorithms have been studied in the setting of bilingual dictionary induction where one seeks to align the embeddings of a source and a target language such that translated word pairs lie close to one another in a common representation space. In this paper, we propose a method, Filtered Inner Product Projection (FIPP), for mapping embeddings to a common representation space and evaluate FIPP in the context of bilingual dictionary induction. As semantic shifts are pervasive across languages and domains, FIPP first identifies the common geometric structure in both embeddings and then, only on the common structure, aligns the Gram matrices of these embeddings. Unlike previous approaches, FIPP is applicable even when the source and target embeddings are of differing dimensionalities. We show that our approach outperforms existing methods on the MUSE dataset for various language pairs. Furthermore, FIPP provides computational benefits both in ease of implementation and scalability.

研究动机与目标

• 解决当源语言和目标语言嵌入维度不同时，对齐跨语言词嵌入的挑战。
• 减轻跨语言语义漂移对标准嵌入对齐方法中成对距离关系的扭曲影响。
• 在对齐过程中保持源嵌入的内在几何结构，防止对种子词典的过拟合。
• 开发一种计算高效的方法，使其比现有方法更快且更易实现。

提出的方法

• FIPP 使用一种保持格拉姆矩阵结构的投影，将源嵌入 $\mathfrak{X}_s \in \mathbb{R}^{n \times d_1}$ 映射到目标空间 $\mathbb{R}^{d_2}$。
• 它识别出一个过滤集合 $K$ 的词对，其中源嵌入和目标嵌入的成对距离相似，定义为 $|X_s X_s^T - X_t X_t^T|_{ij} \leq \epsilon$。
• FIPP 最小化重构损失 $\|\tilde{X}_s \tilde{X}_s^T - X_s X_s^T\|_F^2$，以保持与原始源嵌入的结构相似性。
• 它在过滤集合 $K$ 上进一步最小化迁移损失 $\sum_{(i,j)\in K} (\tilde{X}_s[i]\tilde{X}_s[j]^T - X_t[i]X_t[j]^T)^2$，以对齐共享空间中的距离。
• 该方法联合优化重构损失和迁移损失，从而在 $d_1 \neq d_2$ 的情况下也能实现对齐。
• FIPP 使用闭式解进行投影，相比迭代优化，实现了更快、更简单的实现。

实验结果

研究问题

• RQ1 一种专注于跨语言嵌入中共享几何结构的方法，是否能在双语词典归纳任务中超越标准的距离最小化方法？
• RQ2 基于相似嵌入间距离过滤词对，如何提升在语义漂移下的对齐鲁棒性？
• RQ3 FIPP 在实现高对齐准确率的同时，能在多大程度上保持源嵌入的结构保真度？
• RQ4 FIPP 在小样本和大样本种子词典设置下，是否均优于现有方法如Procrustes和CSLS？
• RQ5 FIPP 是否在计算效率上优于先前的最先进对齐方法？

主要发现

• 在使用CSLS检索的XLING 5K BLI数据集上，FIPP实现了0.473的平均平均精度（MAP），优于Procrustes（0.454）和先前的最先进方法。
• 在XLING 1K BLI数据集上，FIPP使用CSLS实现了0.387的MAP，超过Procrustes（0.350），展现出更优的泛化能力。
• FIPP在多种语言对中表现稳健，包括低资源语言和词形复杂的语言，相较于基线方法持续取得提升。
• 该方法在1K和5K种子词典设置下均达到最先进结果，表明其具有强大的可扩展性和泛化能力。
• 由于采用闭式解，FIPP比迭代方法更快、更易实现，计算优势明显且不牺牲性能。
• 使用CSLS作为检索标准显著提升了FIPP和Procrustes的性能，FIPP在5K数据集上相比最近邻方法提升了0.031。