[论文解读] Cross-Lingual Relevance Transfer for Document Retrieval

Peng Shi, Jimmy Lin|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 8被引用 5

一句话总结

该论文表明，多语言 BERT（mBERT）能够将基于英语数据训练的句子级相关性模型迁移至五种非英语语言——中文、阿拉伯语、法语、印地语和孟加拉语，从而在无需任何语言特定微调的情况下提升文档检索效果。通过在英语社交媒体相关性数据上微调 mBERT，并直接将其应用于目标语言，该方法在单语和跨语言检索任务中均显著提升了排序效果。

ABSTRACT

Recent work has shown the surprising ability of multi-lingual BERT to serve as a zero-shot cross-lingual transfer model for a number of language processing tasks. We combine this finding with a similarly-recently proposal on sentence-level relevance modeling for document retrieval to demonstrate the ability of multi-lingual BERT to transfer models of relevance across languages. Experiments on test collections in five different languages from diverse language families (Chinese, Arabic, French, Hindi, and Bengali) show that models trained with English data improve ranking quality, without any special processing, both for (non-English) mono-lingual retrieval as well as cross-lingual retrieval.

研究动机与目标

• 探究基于英语数据训练的相关性模型是否能通过 mBERT 有效迁移到非英语语言。
• 评估 mBERT 在无需语言特定适应的零样本跨语言文档检索中的表现。
• 评估 mBERT 在涵盖多种语言家族的单语和跨语言检索设置中的有效性。
• 检查微调 mBERT 的嵌入是否会损害跨语言迁移性能。
• 评估使用谷歌翻译作为基线时，查询翻译质量对跨语言检索性能的影响。

提出的方法

• 在 TREC 微博赛道提供的英语微博相关性数据上微调 mBERT，用于句子级相关性分类。
• 使用 mBERT 的 [CLS] 标记表示来预测查询-句子对的相关性得分。
• 通过加权和将 top-k 句子级相关性得分与 BM25 词项匹配得分结合：$ S_{\text{doc}} = \alpha \cdot S_r + (1 - \alpha) \cdot \sum_{i=1}^k w_i \cdot S_i $。
• 通过直接使用 mBERT 而不重新训练或进行语言特定适应，将模型应用于非英语文档。
• 在跨语言检索中，使用谷歌翻译将查询翻译为目标语言文档语言后进行推理。
• 通过交叉验证调整超参数 $\alpha$ 和 $w_i$，以优化平均精度（AP）和 NDCG@20 等排序指标。

实验结果

研究问题

• RQ1 mBERT 能否将基于英语社交媒体数据训练的相关性模型迁移到非英语语言，以提升文档检索性能？
• RQ2 mBERT 的性能增益是否在多种语言家族（包括低资源语言）中保持一致？
• RQ3 微调 mBERT 的标记嵌入如何影响跨语言迁移性能？
• RQ4 当使用黑箱翻译器时，查询翻译质量在多大程度上影响跨语言检索的有效性？
• RQ5 不同语言之间的迁移效果是否存在显著差异？其背后原因可能是什么？

主要发现

• 在无需任何语言特定适应的情况下，微调后的 mBERT 在五种非英语语言中均提升了文档检索性能。
• 在单语检索中，mBERT 在中文（NTCIR8-zh）上相对于 BM25 的平均精度（AP）提升最高达 0.0561，各语言的提升范围在 0.018 到 0.041 之间。
• 在跨语言检索中，尽管查询翻译不完美，mBERT 仍实现了显著提升，CleF2006-en-fr 条件下 AP 提升最高达 0.0462。
• 微调 mBERT 的嵌入会导致性能下降，表明固定嵌入更能保持跨语言对齐，有利于迁移。
• 仅使用最高分句子已能实现强劲性能，额外句子仅带来边际增益。
• 该模型在多种语言家族间表现出稳健的跨语言迁移能力，表明 mBERT 具备零样本相关性迁移的潜力。