[論文レビュー] DRCD: a Chinese Machine Reading Comprehension Dataset

Chih-Chieh Shao, Trois Liu+3 more|arXiv (Cornell University)|Jun 4, 2018

Topic Modeling参考文献 9被引用数 85

ひとこと要約

本論文は DRCD を紹介します。伝統的中国語の MRC データセットは、2,108 の Wikipedia 記事から 10,014 の段落と 30k+ の質問を提供し、ベースライン F1 は 89.59%、人間 F1 は 93.30% です。

ABSTRACT

In this paper, we introduce DRCD (Delta Reading Comprehension Dataset), an open domain traditional Chinese machine reading comprehension (MRC) dataset. This dataset aimed to be a standard Chinese machine reading comprehension dataset, which can be a source dataset in transfer learning. The dataset contains 10,014 paragraphs from 2,108 Wikipedia articles and 30,000+ questions generated by annotators. We build a baseline model that achieves an F1 score of 89.59%. F1 score of Human performance is 93.30%.

研究の動機と目的

• 転移学習のための標準的な中国語機械読解データセットを提供する。
• 大規模でオープンドメインの伝統的中国語 MRC リソースをベンチマーク用に提供する。
• 現実的な段落と質問の混合を用いて中国語 MRC のモデルを評価できるようにする。

提案手法

• オープンドメインの情報源から伝統的中国語の MRC データを収集し、注釈を付ける。
• 10,014 の段落を 2,108 の Wikipedia 記事から、30,000+ の質問を組み立てる。
• F1 をベンチマークし、人間の性能と比較するためのベースラインモデルを確立する。
• データセットでのベースライン F1 スコア 89.59%、人間の性能 93.30% を報告する。

実験結果

リサーチクエスチョン

• RQ1 DRCD における伝統的中国語 MRC のベースラインモデルはどれくらいの性能を発揮できるか。
• RQ2 DRCD におけるモデル性能と人間の性能のギャップはどれくらいか。
• RQ3 DRCD は中国語 MRC の転移学習の有効なソースデータセットとなり得るか。
• RQ4 サイズと出典の多様性の観点から DRCD データセットの特徴は何か。

主な発見

• ベースラインモデルは F1 スコア 89.59% を達成します。
• DRCD における人間の性能は F1 スコア 93.30% です。
• データセットは 10,014 の段落を 2,108 の Wikipedia 記事から、30,000+ の質問から構成されています。
• DRCD はベンチマークと転移学習に適したオープンドメインの伝統的中国語 MRC リソースとして機能します。