[论文解读] Cross-Lingual GenQA: A Language-Agnostic Generative Question Answering Approach for Open-Domain Question Answering.

Benjamin Müller, Luca Soldaini+3 more|arXiv (Cornell University)|Oct 14, 2021

Topic Modeling参考文献 41被引用 5

一句话总结

本文提出 Cross-Lingual GenQA，这是首个不依赖语言的生成式问答系统，通过多语言训练在五种语言——阿拉伯语、孟加拉语、英语、日语和俄语中生成高质量、自然流畅的答案。基于新型的 GenTyDiQA 数据集，实验证明，即使在使用多样化语言输入进行训练的情况下，多语言序列到序列模型的表现也优于单语言模型和答案句子选择基线模型。

ABSTRACT

Open-Retrieval Generative Question Answering (GenQA) is proven to deliver high-quality, natural-sounding answers in English. In this paper, we present the first generalization of the GenQA approach for the multilingual environment. To this end, we present the GenTyDiQA dataset, which extends the TyDiQA evaluation data (Clark et al., 2020) with natural-sounding, well-formed answers in Arabic, Bengali, English, Japanese, and Russian. For all these languages, we show that a GenQA sequence-to-sequence-based model outperforms a state-of-the-art Answer Sentence Selection model. We also show that a multilingually-trained model competes with, and in some cases outperforms, its monolingual counterparts. Finally, we show that our system can even compete with strong baselines, even when fed with information from a variety of languages. Essentially, our system is able to answer a question in any language of our language set using information from many languages, making it the first Language-Agnostic GenQA system.

研究动机与目标

• 将生成式问答（GenQA）从英语扩展到多语言环境。
• 解决开放域问答中低资源语言和非英语语言缺乏高质量、自然流畅答案的问题。
• 开发一个统一的多语言模型，能够利用跨语言信息在任意目标语言中生成流畅答案。
• 评估多语言训练是否在生成式问答中比单语言微调具有更好的泛化能力。
• 探究通过单一模型有效处理多种语言的真正语言无关问答的可行性。

提出的方法

• 在 TyDiQA 数据集上为五种语言（阿拉伯语、孟加拉语、英语、日语和俄语）标注自然流畅、结构完整的答案，构建 GenTyDiQA 数据集。
• 在多语言的 GenTyDiQA 数据集上训练序列到序列模型，直接从问题-上下文对生成答案。
• 对每个目标语言单独微调多语言模型，以与单语言模型的性能进行比较。
• 在零样本跨语言迁移设置下评估多语言模型，即使用其他语言的上下文生成目标语言的答案。
• 在所有五种语言中，将多语言 GenQA 模型与最先进的答案句子选择模型进行比较。
• 使用共享的多语言分词器和编码器-解码器架构，以支持跨语言迁移和语言无关的推理。

实验结果

研究问题

• RQ1 单一多语言序列到序列模型是否能够在不进行语言特定微调的情况下，为多种语言生成高质量、自然流畅的答案？
• RQ2 与单语言模型相比，多语言预训练是否能提升生成式问答中的零样本跨语言泛化能力？
• RQ3 多语言 GenQA 模型是否能在包括低资源语言在内的多种语言中，超越强大的答案句子选择基线模型？
• RQ4 在混合语言数据上进行训练的模型，能够在多大程度上利用其他语言的上下文，在目标语言中生成流畅答案？
• RQ5 是否可能构建一个真正语言无关的生成式问答系统，使其在多种语言中均表现优异？

主要发现

• 多语言 GenQA 模型在 GenTyDiQA 数据集的所有五种语言中，表现均优于最先进的答案句子选择模型。
• 与针对每种语言单独微调的单语言模型相比，多语言模型在性能上具有竞争力或更优，证明了其强大的零样本泛化能力。
• 即使在多种语言数据上进行训练，该模型仍能为任意目标语言生成流畅、结构完整的答案，证实了其语言无关的能力。
• 该系统在孟加拉语和阿拉伯语等低资源语言中也保持了强劲性能，表明其在多语言环境中的鲁棒性。
• 结果表明，跨语言信息检索与多语言训练显著提升了开放域问答中的答案生成质量。
• GenTyDiQA 数据集为多语言生成式问答提供了新的基准，推动未来语言无关自然语言处理的研究。