[论文解读] Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations

Rui Zhang, Caitlin Westerfield+6 more|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 38被引用 7

一句话总结

本文提出了一种用于低资源跨语言文档检索的深度神经网络重排序模型，利用双语查询-文档表示。通过利用共享的跨语言词嵌入并引入查询似然分数作为额外特征，该模型能从少量相关性标签中有效学习，并在英语到斯瓦希里语、他加禄语和索马里语的检索任务中取得最先进性能，同时在未见过的语言对上展现出强大的零样本迁移能力。

ABSTRACT

In this paper, we propose to boost low-resource cross-lingual document retrieval performance with deep bilingual query-document representations. We match queries and documents in both source and target languages with four components, each of which is implemented as a term interaction-based deep neural network with cross-lingual word embeddings as input. By including query likelihood scores as extra features, our model effectively learns to rerank the retrieved documents by using a small number of relevance labels for low-resource language pairs. Due to the shared cross-lingual word embedding space, the model can also be directly applied to another language pair without any training label. Experimental results on the MATERIAL dataset show that our model outperforms the competitive translation-based baselines on English-Swahili, English-Tagalog, and English-Somali cross-lingual information retrieval tasks.

研究动机与目标

• 解决低资源跨语言文档检索中训练数据稀缺的挑战。
• 克服依赖机器翻译质量的模块化翻译方法的局限性。
• 仅使用少量相关性标签，实现对低资源语言对检索文档的有效重排序。
• 通过利用共享的跨语言词嵌入，实现无需额外训练数据的零样本迁移至新语言对。
• 在低资源设置下，超越现有的基于翻译和单语深度学习基线模型的性能。

提出的方法

• 使用四个组件网络在源语言和目标语言中分别匹配查询和文档，每个组件基于词项交互模型。
• 将每个组件实现为深度神经网络，以跨语言词嵌入作为输入，并使用双向LSTM进行上下文敏感编码。
• 将查询似然分数作为额外特征，帮助模型从极少量标注数据中学习有效重排序。
• 应用k-max池化和词项门控机制，聚合查询词项之间的相关性分数。
• 使用共享损失函数联合训练所有组件，通过Adam优化，批量大小为32，并在开发集MAP上使用早停策略。
• 利用对齐的跨语言词嵌入，实现在无需微调的情况下将模型迁移至新语言对。

实验结果

研究问题

• RQ1 当仅有少量相关性标签时，使用双语表示的深度神经网络重排序是否能提升低资源跨语言文档检索性能？
• RQ2 将查询似然分数作为辅助特征，在多大程度上能减少模型训练的数据需求？
• RQ3 在未提供任何标注数据的情况下，一个在某一低资源语言对上训练的模型，能在多大程度上泛化到另一语言对？
• RQ4 在低资源设置下，不同词项交互模型（如POSIT-DRMM、PACRR-DRMM）的性能表现如何比较？
• RQ5 使用双语表示是否能在多种语言对上持续优于单语或基于翻译的基线模型？

主要发现

• 所提出的模型在英语到斯瓦希里语、英语到他加禄语和英语到索马里语的跨语言检索任务中，优于竞争性的基于翻译的基线模型。
• 将查询似然分数作为额外特征，可实现仅用极少相关性标签即有效学习，显著提升性能。
• 与非双语基线相比，该模型在MAP上提升1-3分，且在基线翻译质量较好的语言对（如EN->TL）上提升更明显。
• 双语POSIT-DRMM优于PACRR和PACRR-DRMM，表明词项门控和池化机制在低资源设置下尤为有效。
• 从EN->SW和EN->TL零样本迁移至EN->SO，MAP提升1-3分，优于PSQ和SMT基线，证明了强大的泛化能力。
• 由于共享的跨语言词嵌入，该模型在不同语言对上表现稳健，可直接应用于新语言对而无需重新训练。