[论文解读] Extractive Question Answering on Queries in Hindi and Tamil

Adhitya Thirumala, Elisa Ferracane|arXiv (Cornell University)|Sep 27, 2022

Topic Modeling被引用 4

一句话总结

本论文针对印地语和泰米尔语的抽取式问答任务，提出了并评估了微调后的Transformer模型——具体为XLM-RoBERTa和RoBERTa，使用来自Kaggle竞赛的多语言数据集。表现最佳的模型是分别在印地语和泰米尔语数据上独立微调的RoBERTa，其在印地语上的Jaccard分数达到0.958，在泰米尔语上达到0.829，显著优于基线模型，证明了针对低资源印地语语言进行语言特异性微调的价值。

ABSTRACT

Indic languages like Hindi and Tamil are underrepresented in the natural language processing (NLP) field compared to languages like English. Due to this underrepresentation, performance on NLP tasks (such as search algorithms) in Indic languages are inferior to their English counterparts. This difference disproportionately affects those who come from lower socioeconomic statuses because they consume the most Internet content in local languages. The goal of this project is to build an NLP model that performs better than pre-existing models for the task of extractive question-answering (QA) on a public dataset in Hindi and Tamil. Extractive QA is an NLP task where answers to questions are extracted from a corresponding body of text. To build the best solution, we used three different models. The first model is an unmodified cross-lingual version of the NLP model RoBERTa, known as XLM-RoBERTa, that is pretrained on 100 languages. The second model is based on the pretrained RoBERTa model with an extra classification head for the question answering, but we used a custom Indic tokenizer, then optimized hyperparameters and fine tuned on the Indic dataset. The third model is based on XLM-RoBERTa, but with extra finetuning and training on the Indic dataset. We hypothesize the third model will perform best because of the variety of languages the XLM-RoBERTa model has been pretrained on and the additional finetuning on the Indic dataset. This hypothesis was proven wrong because the paired RoBERTa models performed the best as the training data used was most specific to the task performed as opposed to the XLM-RoBERTa models which had much data that was not in either Hindi or Tamil.

研究动机与目标

• 通过开发高效的抽取式问答系统，解决印地语和泰米尔语等印地语系语言在自然语言处理中代表性不足的问题。
• 提升非英语使用者，特别是依赖本地语言的低收入群体，获取信息的机会。
• 评估多语言和单语言Transformer模型在低资源印地语系语言问答任务中的性能表现。
• 探究与多语言预训练相比，针对语言特异性进行微调是否能提升印地语和泰米尔语的模型性能。
• 为搜索引擎提供高性能且可访问的问答系统，更有效地服务印地语和泰米尔语使用者。

提出的方法

• 在印地语和泰米尔语合并数据集上微调XLM-RoBERTa，作为多语言基线模型。
• 分别在印地语和泰米尔语数据上微调XLM-RoBERTa，以提升跨语言泛化能力。
• 使用仅在印地语和泰米尔语问答数据上微调的RoBERTa模型，通过WECHSEL工具包实现子词分词，以支持多语言迁移。
• 采用词级Jaccard分数作为主要评估指标，衡量预测答案与真实答案之间的重叠程度。
• 训练模型4个周期，批量大小为12，基础初始学习率为2×10⁻⁵，权重衰减为0.01。
• 采用两步数据收集流程：母语者基于维基百科摘录生成问题，随后从相同文本中提取标注的答案。

实验结果

研究问题

• RQ1 在印地语和泰米尔语的抽取式问答任务中，多语言预训练（XLM-RoBERTa）与单语言微调（RoBERTa）相比表现如何？
• RQ2 与共享的多语言微调相比，语言特异性微调在低资源印地语系语言上的性能提升程度如何？
• RQ3 印地语和泰米尔语问答模型的主要错误模式是什么？它们与词分词和语法等语言差异有何关联？
• RQ4 通过WECHSEL实现的子词嵌入迁移，能否有效将英语预训练的RoBERTa适配到印地语和泰米尔语，而无需完全重新训练？
• RQ5 训练数据不平衡（印地语占67%，泰米尔语占33%）如何影响模型在不同语言上的性能与泛化能力？

主要发现

• 在印地语和泰米尔语数据上分别独立微调的RoBERTa模型表现最佳，其在印地语上的Jaccard分数达到0.958，在泰米尔语上为0.829。
• XLM-RoBERTa基线模型在印地语和泰米尔语合并验证集上的Jaccard分数为0.656。
• XLM-RoBERTa+微调模型在合并数据集上的性能提升至Jaccard分数0.749，相比基线模型相对提升14.18%。
• RoBERTa+分别微调印地语/泰米尔语模型相比XLM-RoBERTa基线模型相对提升36.13%，相比XLM-RoBERTa+微调模型相对提升19.23%。
• 错误分析显示，模型常在答案中包含标点符号（如括号）或添加语法成分（如泰米尔语中的“language”），表明其在句法泛化方面存在局限。
• 不同模型间的性能差距凸显了语言特异性微调的优势，尤其对于形态和拼写差异显著的语言，如泰米尔语和印地语。