[论文解读] Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|Jul 19, 2021

Topic Modeling参考文献 29被引用 5

一句话总结

该论文提出了一种上下文感知、无需词典的跨语言映射方法，利用基于BERT的上下文嵌入，借助平行语料库学习线性变换，以提升语言空间之间的同构性。通过引入迭代归一化以强制实现各向同性和等距性，并将类型级嵌入拆分为语义级表示，该方法在双语词典归纳（BDI）任务上达到最先进性能，相比先前的多语言词嵌入方法，准确率最高提升1%。

ABSTRACT

Typically, a linearly orthogonal transformation mapping is learned by aligning static type-level embeddings to build a shared semantic space. In view of the analysis that contextual embeddings contain richer semantic features, we investigate a context-aware and dictionary-free mapping approach by leveraging parallel corpora. We illustrate that our contextual embedding space mapping significantly outperforms previous multilingual word embedding methods on the bilingual dictionary induction (BDI) task by providing a higher degree of isomorphism. To improve the quality of mapping, we also explore sense-level embeddings that are split from type-level representations, which can align spaces in a finer resolution and yield more precise mapping. Moreover, we reveal that contextual embedding spaces suffer from their natural properties -- anisotropy and anisometry. To mitigate these two problems, we introduce the iterative normalization algorithm as an imperative preprocessing step. Our findings unfold the tight relationship between isotropy, isometry, and isomorphism in normalized contextual embedding spaces.

研究动机与目标

• 开发一种无需依赖真实双语词典的监督线性映射方法，用于跨语言上下文嵌入。
• 研究如何利用平行语料库对多语言BERT的上下文嵌入进行跨语言对齐，以提升嵌入空间的同构性。
• 解决上下文嵌入中固有的各向异性与非等距性问题，这些问题会降低映射质量。
• 探索语义级嵌入作为类型级表示的更细粒度替代方案，以减少跨语言对齐中的表示偏差。
• 评估各向同性和等距性对跨语言空间映射质量的影响，并通过归一化技术证明其重要性。

提出的方法

• 利用平行单语语料库提取银标准词对翻译对，用于训练映射矩阵。
• 通过平均并行句子中对齐词对所有出现的BERT表示，构建类型级上下文嵌入。
• 利用聚类或注意力机制自适应地将类型级嵌入拆分为语义级表示，以捕捉多义性。
• 应用迭代归一化（IN）以减少各向异性并改善语言空间间的等距性，确保向量分布均衡。
• 通过Frobenius范数最小化训练线性变换矩阵W：$\hat{W} = \arg\min_W \|WX - Y\|_F$，其中X和Y为对齐词对的嵌入矩阵。
• 使用CSLS度量计算BDI基准上的P@1和P@5得分。

实验结果

研究问题

• RQ1 上下文感知、无需词典的多语言BERT嵌入映射方法是否能在双语词典归纳（BDI）任务上超越静态多语言词嵌入方法？
• RQ2 将类型级嵌入拆分为语义级表示是否能提升跨语言映射的同构性和准确性？
• RQ3 上下文嵌入空间中的各向异性和非等距性在多大程度上会降低映射性能？能否被缓解？
• RQ4 通过迭代归一化强制实现各向同性和等距性，对跨语言嵌入对齐质量有何影响？
• RQ5 在归一化后的上下文嵌入空间中，同构性、各向同性和等距性之间是否存在可测量的关系？

主要发现

• 通过使用语义级表示，该方法在BDI准确率上相比类型级嵌入提升了1%，语义级表示表现出更高的同构性程度。
• 迭代归一化显著降低了各向异性（各向同性分数接近0），并改善了等距性，从而提升了跨语言间的映射质量。
• 经过迭代归一化后，同构性的RS（相对相似性）分数上升，与BDI任务中P@1和P@5结果的提升呈正相关。
• 语义级嵌入在映射准确性上优于类型级嵌入，表现为映射向量与正确德语翻译之间的余弦相似度更高（例如，'bank' → 'bank' 的相似度为0.6891 vs. 0.6868）。
• 该方法表明，各向同性和等距性是跨语言映射中的关键因素，通过迭代归一化优化这些特性，可实现更一致且准确的嵌入空间对齐。