[论文解读] DRCD: a Chinese Machine Reading Comprehension Dataset

Chih-Chieh Shao, Trois Liu+3 more|arXiv (Cornell University)|Jun 4, 2018

Topic Modeling参考文献 9被引用 85

一句话总结

本文介绍 DRCD，这是一个传统中文机器阅读理解数据集，包含来自 2,108 篇维基百科文章的 10,014 段落以及 30k+ 个问题，基线 F1 为 89.59%，人工 F1 为 93.30%。

ABSTRACT

In this paper, we introduce DRCD (Delta Reading Comprehension Dataset), an open domain traditional Chinese machine reading comprehension (MRC) dataset. This dataset aimed to be a standard Chinese machine reading comprehension dataset, which can be a source dataset in transfer learning. The dataset contains 10,014 paragraphs from 2,108 Wikipedia articles and 30,000+ questions generated by annotators. We build a baseline model that achieves an F1 score of 89.59%. F1 score of Human performance is 93.30%.

研究动机与目标

• 提供用于迁移学习的标准中文机器阅读理解数据集。
• 提供一个大型、开放领域的传统中文机器阅读理解资源用于基准测试。
• 使在中文机器阅读理解上评估模型时，能够使用真实的段落与问题混合来进行。

提出的方法

• 从开放领域来源收集并标注传统中文机器阅读理解数据。
• 汇集来自 2,108 篇维基百科文章的 10,014 段落和 30,000+ 个问题。
• 建立基线模型以基准 F1 并与人工表现进行比较。
• 在该数据集上报告基线 F1 分数为 89.59% 和人工表现为 93.30%。

实验结果

研究问题

• RQ1 基线模型在 DRCD 的传统中文机器阅读理解任务上能达到多好的表现？
• RQ2 DRCD 上模型表现与人工表现之间的差距有多大？
• RQ3 DRCD 能否作为中文机器阅读理解迁移学习的有效源数据集？
• RQ4 就数据集的规模与来源多样性而言，DRCD 的特征是什么？

主要发现

• 基线模型实现了 89.59% 的 F1 分数。
• 在 DRCD 上的人类表现达到 93.30% 的 F1 分数。
• 该数据集包含来自 2,108 篇维基百科文章的 10,014 段落以及 30,000+ 个问题。
• DRCD 作为一个面向开放领域的传统中文机器阅读理解资源，适用于基准测试和迁移学习。