[论文解读] LAReQA: Language-agnostic answer retrieval from a multilingual pool

Uma Roy, Noah Constant+4 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling参考文献 21被引用 9

一句话总结

LAReQA 引入了一项新的基准，用于从多语言语料库中进行语言无关的答案检索，要求具备强大的跨语言对齐能力，即语义相关的跨语言配对在嵌入空间中的距离应比无关的同语言配对更近。研究发现，通过机器翻译增强训练数据可显著提升跨语言对齐性能，超越 mBERT，但代价是同语言检索任务性能下降。

ABSTRACT

We present LAReQA, a challenging new benchmark for language-agnostic answer retrieval from a multilingual candidate pool. Unlike previous cross-lingual tasks, LAReQA tests for "strong" cross-lingual alignment, requiring semantically related cross-language pairs to be closer in representation space than unrelated same-language pairs. Building on multilingual BERT (mBERT), we study different strategies for achieving strong alignment. We find that augmenting training data via machine translation is effective, and improves significantly over using mBERT out-of-the-box. Interestingly, the embedding baseline that performs the best on LAReQA falls short of competing baselines on zero-shot variants of our task that only target "weak" alignment. This finding underscores our claim that languageagnostic retrieval is a substantively new kind of cross-lingual evaluation.

研究动机与目标

• 提出一项新基准 LAReQA，用于评估多语言表示中的强跨语言对齐能力，超越现有的零样本迁移任务。
• 探究多语言 BERT 是否可通过微调和数据增强实现强对齐——即语义相关的跨语言配对在嵌入空间中比无关的同语言配对更近。
• 比较不同对齐策略（包括基于翻译的数据增强）在多语言和同语言检索任务上的性能表现。
• 证明当前的零样本跨语言评估（如 XNLI）无法充分衡量强对齐能力，且具有高语言偏见的模型可能在标准基准上表现良好。

提出的方法

• LAReQA 基准构建了一个多语言候选语料库，其中问题和答案来自多种语言，要求检索与问题语义最相关的答案，无论语言如何。
• 作者将‘强对齐’定义为：所有语义相关的跨语言配对在嵌入空间中的距离必须小于任何无关的同语言配对。
• 他们使用同语言和机器翻译的训练样本组合对多语言 BERT（mBERT）进行微调，以促进强对齐。
• X-Y 基线模型在原始和反向翻译的句子对上进行训练，以提升跨语言迁移能力并减少表示中的语言偏见。
• 通过在多语言语料库上的检索任务中使用平均平均精度（mAP）评估性能，并与零样本同语言检索和语言标识预测进行比较。
• 作者使用主成分分析（PCA）可视化嵌入空间，并训练线性分类器从嵌入中预测语言身份，以衡量语言偏见。

实验结果

研究问题

• RQ1 多语言 BERT 是否可通过微调实现强跨语言对齐，即语义相关的跨语言配对在嵌入空间中比无关的同语言配对更近？
• RQ2 通过机器翻译进行数据增强是否能提升强对齐性能，使其超越 mBERT 的原始性能？
• RQ3 强对齐性能与语言偏见（通过从嵌入中预测语言标识的准确率衡量）之间是否存在相关性？
• RQ4 为何在标准零样本跨语言迁移任务（如 XNLI）上表现良好的模型在 LAReQA 上表现不佳？这表明 LAReQA 对强对齐有更高要求。
• RQ5 是否存在强跨语言对齐与同语言检索性能之间的权衡？

主要发现

• X-Y 基线模型（使用反向翻译数据进行训练）在 LAReQA 上实现了 0.63 的最高 mAP，显著优于 mBERT 和其他基线模型。
• 在 LAReQA 上表现最佳的基线模型（X-Y）在同语言检索任务中表现落后于其他模型，表明强对齐与同语言准确率之间存在性能权衡。
• 从 X-X 模型的嵌入中可将语言标识预测准确率达到 99.2%，表明存在高度语言偏见；而 X-Y 模型的语言标识预测准确率仅为 54.0%，显示出语言偏见显著降低。
• 在标准零样本迁移任务（如 XNLI）上表现良好的模型，往往在 LAReQA 上表现不佳，表明现有基准无法有效衡量强对齐能力。
• 仅在同语言数据上训练的 X-X (-mono) 基线模型在同语言检索任务中表现最佳（表 4），但在 LAReQA 上仅获得 0.23 mAP 的得分，凸显了该任务的独特挑战。
• 通过机器翻译增强训练数据可显著提升强对齐性能，表明显式跨语言数据对超越 mBERT 固有能力实现强对齐至关重要。