[論文レビュー] JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension

ByungHoon So, Kyuhong Byun+2 more|arXiv (Cornell University)|Feb 3, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、日本語ウィキペディアの記事から抽出された39,696組の抽出型QAペアを含む大規模かつ人手でアノテートされた日本語QAデータセット、JaQuADを紹介する。BERT-JapaneseをJaQuADで微調整した結果、テストセットでF1スコア78.92%、EMスコア63.38%を達成し、強力なベースラインを確立するとともに、日本語MRCモデルにおけるさらなる改善の余地が顕著に示された。

ABSTRACT

Question Answering (QA) is a task in which a machine understands a given document and a question to find an answer. Despite impressive progress in the NLP area, QA is still a challenging problem, especially for non-English languages due to the lack of annotated datasets. In this paper, we present the Japanese Question Answering Dataset, JaQuAD, which is annotated by humans. JaQuAD consists of 39,696 extractive question-answer pairs on Japanese Wikipedia articles. We finetuned a baseline model which achieves 78.92% for F1 score and 63.38% for EM on test set. The dataset and our experiments are available at https://github.com/SkelterLabsInc/JaQuAD.

研究の動機と目的

• 日本語NLPにおける大規模かつ高品質なアノテート済みQAデータセットの不足に対処すること。
• 多様で人手でアノテートされたデータセットを提供することで、日本語向けの強固な機械読解モデルの開発を支援すること。
• 事前学習された言語モデルを用いて、日本語QAの強力なベースラインモデルを確立すること。
• 回答タイプ、質問タイプ、回答長に応じたモデル性能の分析を通じて、日本語MRCにおける主な課題を特定すること。

提案手法

• 901件の日本語ウィキペディア記事から12,348件の文脈を収集し、多様な分野をカバーした。
• 資格試験を通過した人手のアノテーターを採用し、スパン抽出形式の39,696組の質問-回答ペアを生成した。
• 一貫したアノテーションガイドラインに従い、データセットを訓練用（31,748）、開発用（3,939）、テスト用（4,009）に分割した。
• モデルを384トークンのシーケンス長とバッチサイズ32を用いて、JaQuADデータセット上でBERT-Japanese（多言語Transformerベースのモデル）を微調整した。
• 訓練ステップの最初の10%で線形ウォームアップを実施し、その後線形にゼロへと減少させる最適化手法を採用した。
• F1スコアと正確一致（EM）という標準的な指標を用いて性能を評価し、回答タイプ、質問タイプ、回答長ごとに結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 モデルの性能は、日付/時刻、人物、場所といった異なる回答タイプにおいてどのように変化するか？
• RQ2 文法的変化、語彙的変化、論理的推論といった質問タイプの違いが、モデル性能に与える影響は何か？
• RQ3 回答長がF1スコアおよびEMスコアにおけるモデルの正確性にどのように影響するか？
• RQ4 ベースラインのBERT-Japaneseモデルは日本語MRCにどの程度一般化可能であり、主な失敗モードはどこにあるか？

主な発見

• BERT-JapaneseベースラインはテストセットでF1スコア78.92%、EMスコア63.38%を達成し、初期段階での強力な性能を示したが、さらなる改善の余地が顕著にあった。
• 日付/時刻および人物の回答タイプで最も高い性能を示し、F1スコアはそれぞれ87.91%および78.84%であった。これは、曖昧性の低い回答をよりうまく処理できることを示唆している。
• 論理的推論を要する質問では性能が著しく低下し、F1スコア53.71%、EMスコア33.26%にとどまった。これは、複雑な推論処理に苦労していることを示している。
• 3〜4語の回答でピーク性能（F1スコア81.33%）を記録したが、非常に短い（1〜2語）および長い（9語以上）回答ではスコアが低かった。
• 頻度が低め（1%以下）の回答タイプ（例：方法、原因）は、学習データが不足しているため性能が低かった。
• 複数文にわたる推論や世界知識を必要とする語彙的変化を伴う質問では、F1スコアが75〜76%程度にとどまり、平均水準に近いが、文法的変化（F1スコア87.06%）よりは低い水準であった。