[论文解读] JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension

ByungHoon So, Kyuhong Byun+2 more|arXiv (Cornell University)|Feb 3, 2022

Topic Modeling被引用 9

一句话总结

本文提出了 JaQuAD，一个大规模、人工标注的日语问答数据集，包含来自日语维基百科文章的 39,696 个抽取式问答对。在 JaQuAD 上微调 BERT-Japanese 在测试集上取得了 78.92% 的 F1 和 63.38% 的 EM，建立了强有力的基线，并凸显了日语机器阅读理解模型仍有巨大的提升空间。

ABSTRACT

Question Answering (QA) is a task in which a machine understands a given document and a question to find an answer. Despite impressive progress in the NLP area, QA is still a challenging problem, especially for non-English languages due to the lack of annotated datasets. In this paper, we present the Japanese Question Answering Dataset, JaQuAD, which is annotated by humans. JaQuAD consists of 39,696 extractive question-answer pairs on Japanese Wikipedia articles. We finetuned a baseline model which achieves 78.92% for F1 score and 63.38% for EM on test set. The dataset and our experiments are available at https://github.com/SkelterLabsInc/JaQuAD.

研究动机与目标

• 为解决日语 NLP 领域缺乏大规模、高质量标注问答数据集的问题。
• 通过提供多样化、人工标注的数据集，支持日语机器阅读理解模型的稳健发展。
• 利用预训练语言模型建立日语问答任务的强基线模型。
• 通过分析不同答案类型、问题类型和答案长度下的模型表现，识别日语机器阅读理解中的关键挑战。

提出的方法

• 从 901 篇日语维基百科文章中收集了 12,348 个上下文，涵盖多样化领域。
• 通过资格测试筛选的人工标注者，以跨度抽取格式生成了 39,696 个问题-答案对。
• 按照一致的标注指南将数据集划分为训练集（31,748 个）、开发集（3,939 个）和测试集（4,009 个）。
• 使用序列长度为 384 个 token 和批量大小为 32 的方式，在 JaQuAD 数据集上微调 BERT-Japanese（一种基于多语言 Transformer 的模型）。
• 采用线性学习率预热策略，预热前 10% 的训练步数，随后线性衰减至零。
• 使用标准指标（F1 分数和精确匹配 EM）评估性能，并按答案类型、问题类型和答案长度进行分析。

实验结果

研究问题

• RQ1 模型在 JaQuAD 上的表现如何随不同答案类型（如 日期/时间、人物、地点）而变化？
• RQ2 问题类型（如句法变化、词汇变化或逻辑推理）对模型性能有何影响？
• RQ3 答案长度如何影响模型在 F1 和 EM 分数上的准确性？
• RQ4 基线 BERT-Japanese 模型在日语机器阅读理解任务上的泛化能力如何？其主要失败模式出现在哪些方面？

主要发现

• BERT-Japanese 基线模型在测试集上取得 78.92% 的 F1 和 63.38% 的 EM，表明初始性能较强，但仍存在显著的提升空间。
• 模型在 日期/时间 和 人物 类型的答案上表现最佳，F1 分别达到 87.91% 和 78.84%，表明对低歧义答案的处理能力更强。
• 在 逻辑推理 类型的问题上性能显著下降，F1 为 53.71%，EM 为 33.26%，表明模型在复杂推理任务上存在困难。
• 模型在 3–4 个词长度的答案上达到最佳表现（F1：81.33%），而极短（1–2 个词）和长答案（9 个以上词）的得分较低。
• 由于训练数据不足，Manner 和 Cause 等低频答案类型（频率 ≤1%）表现较差。
• 需要多句推理和世界知识词汇变化的问题类型，F1 分数约为 75–76%，接近平均水平，但仍低于句法变化类型（F1：87.06%）。