[论文解读] Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian

Momchil Hardalov, Ivan Koychev+1 more|arXiv (Cornell University)|Aug 5, 2019

Topic Modeling参考文献 39被引用 6

一句话总结

该论文提出了一种零样本多语言迁移方法，用于保加利亚语多项选择阅读理解任务，方法基于在英语RACE数据集上微调的多语言BERT模型，并结合外部维基百科知识。通过信息检索管道检索相关上下文段落，模型在保加利亚语阅读理解任务上达到42.23%的准确率，显著高于24.89%的基线水平，证明了在保加利亚语资源稀缺的条件下，仍能实现有效的跨语言知识迁移。

ABSTRACT

Recently, reading comprehension models achieved near-human performance on large-scale datasets such as SQuAD, CoQA, MS Macro, RACE, etc. This is largely due to the release of pre-trained contextualized representations such as BERT and ELMo, which can be fine-tuned for the target task. Despite those advances and the creation of more challenging datasets, most of the work is still done for English. Here, we study the effectiveness of multilingual BERT fine-tuned on large-scale English datasets for reading comprehension (e.g., for RACE), and we apply it to Bulgarian multiple-choice reading comprehension. We propose a new dataset containing 2,221 questions from matriculation exams for twelfth grade in various subjects -history, biology, geography and philosophy-, and 412 additional questions from online quizzes in history. While the quiz authors gave no relevant context, we incorporate knowledge from Wikipedia, retrieving documents matching the combination of question + each answer option. Moreover, we experiment with different indexing and pre-training strategies. The evaluation results show accuracy of 42.23%, which is well above the baseline of 24.89%.

研究动机与目标

• 研究从高资源英语到低资源保加利亚语在多项选择阅读理解任务上的零样本迁移。
• 通过利用维基百科的外部知识，缓解低资源语言中上下文训练数据稀缺的问题。
• 评估多语言BERT和领域特定预训练在斯拉夫语言上对保加利亚语理解的有效性。
• 设计并发布一个全新的高质量保加利亚语阅读理解数据集，数据来源为会考和在线测验。
• 分析检索策略、文本预处理和微调超参数对模型性能的影响。

提出的方法

• 在英语RACE数据集上微调多语言BERT，用于多项选择阅读理解任务。
• 从会考和在线测验中构建了一个包含2,636道问题的全新保加利亚语数据集，且未提供预设上下文。
• 通过使用问题-答案对查询维基百科，实现信息检索管道，以检索相关证据段落。
• 应用文本预处理技术，包括n-gram、停用词移除、词干化和段落分割，以提升检索质量。
• 实验了不同的索引策略：小滑动窗口（大小400，步长100）、大窗口（1,600，400）以及段落分割。
• 在斯拉夫语维基百科文章和俄语新闻的分层语料上进行预训练，以评估领域特定适应的效果。

实验结果

研究问题

• RQ1 在零样本设置下，微调于英语阅读理解数据的多语言BERT能否有效泛化到保加利亚语？
• RQ2 与直接使用多语言BERT相比，在斯拉夫语语料上进行预训练对保加利亚语阅读理解性能有何影响？
• RQ3 哪种检索策略——滑动窗口、段落分割或窗口大小——能为上下文感知推理提供最佳证据段落质量？
• RQ4 文本预处理技术（如词干化、停用词移除）如何影响检索管道和下游模型的准确率？
• RQ5 为每个答案选项检索多少篇文档能最大化不同学科类别下的准确率？

主要发现

• 所提出的基于检索的方法在保加利亚语阅读理解数据集上达到42.23%的准确率，比24.89%的基线高出17.34个百分点。
• 对检索文档进行段落分割的策略取得了最高准确率（42.23%），分别比小窗口和大窗口策略高出5.7%和5.69%。
• 在斯拉夫语语料上进行预训练导致准确率绝对下降9%，表明多语言BERT已包含足够的保加利亚语知识，进一步预训练可能引发灾难性遗忘。
• 历史类问题（尤其是在线测验）达到最高准确率，因其更依赖词汇匹配；地理类问题最富挑战，准确率为38.73%。
• 每个答案选项使用2篇检索文档的结果列表长度时，整体性能最佳；更长的列表（如10或20）在大多数类别中均导致性能下降。
• 微调3个周期使准确率比1个周期提升1.6%，但进一步增加周期数未见提升，支持使用2–3个周期以防止灾难性遗忘。