[论文解读] A Vietnamese Dataset for Evaluating Machine Reading Comprehension

Kiet Van Nguyen, Duc-Vu Nguyen+2 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 32被引用 7

一句话总结

本文介紹了 UIT-ViQuAD，一個針對越南語的大規模、人工標註的跨度抽取機器閱讀理解數據集，包含來自越南語維基百科的 5,109 範本段落中的 23,074組問題-答案對。儘管最先进模型在測試集上最高達到 87% 的 F1 分數，但其表現仍遠低於人類水平，顯示在低資源越南語自然語言處理領域中，推理與理解能力仍有顯著提升空間。

ABSTRACT

Over 97 million people speak Vietnamese as their native language in the world. However, there are few research studies on machine reading comprehension (MRC) for Vietnamese, the task of understanding a text and answering questions related to it. Due to the lack of benchmark datasets for Vietnamese, we present the Vietnamese Question Answering Dataset (UIT-ViQuAD), a new dataset for the low-resource language as Vietnamese to evaluate MRC models. This dataset comprises over 23,000 human-generated question-answer pairs based on 5,109 passages of 174 Vietnamese articles from Wikipedia. In particular, we propose a new process of dataset creation for Vietnamese MRC. Our in-depth analyses illustrate that our dataset requires abilities beyond simple reasoning like word matching and demands single-sentence and multiple-sentence inferences. Besides, we conduct experiments on state-of-the-art MRC methods for English and Chinese as the first experimental models on UIT-ViQuAD. We also estimate human performance on the dataset and compare it to the experimental results of powerful machine learning models. As a result, the substantial differences between human performance and the best model performance on the dataset indicate that improvements can be made on UIT-ViQuAD in future research. Our dataset is freely available on our website to encourage the research community to overcome challenges in Vietnamese MRC.

研究动机与目标

• 為解決越南語機器閱讀理解（MRC）缺乏基準數據集的問題，越南語是一種擁有超過 9700 萬使用者的低資源語言。
• 建立一個高品質、人工標註的跨度抽取式 MRC 數據集，適用於越南語深度學習模型的訓練與評估。
• 分析數據集的語言複雜度，包括問題類型、推理類型與答案結構，以評估模型在超越簡單詞彙匹配之外的能力。
• 評估來自英語與中文的最先进 MRC 模型在越南語數據集上的表現，並與人類表現進行比較。
• 為未來跨語言 MRC 研究奠定基礎，並促進社區發展先進的越南語自然語言處理模型。

提出的方法

• 選取 174 範本的越南語維基百科文章作為來源段落，其中使用了 5,109 範本段落生成問題-答案對。
• 採用一種新型人工標註流程，生成 23,074 組問題-答案對，確保語言多樣性與推理複雜度。
• 根據問題類型（誰、什麼、何時、何地、為什麼、如何等）、答案類型（跨度、名詞短語、地點等）與推理類型（單句、多句、模糊等）對問題進行分類。
• 使用 F1 分數作為主要指標，在開發集與測試集上評估最先进 MRC 模型（DrQA、QANet、mBERT 與 XLM-R）的表現。
• 透過縮減訓練數據量的消融實驗，評估模型表現隨數據量增加的變化趨勢。
• 透過人工評估估算人類表現，並與模型輸出直接比較，以識別性能差距。

实验结果

研究问题

• RQ1 現有的英語與中文最先进 MRC 模型在越南語（一種低資源語言）上的泛化能力如何？
• RQ2 UIT-ViQuAD 數據集除了簡單的跨度抽取外，還帶來哪些語言與推理挑戰，例如多句推理或複雜問題類型？
• RQ3 不同問題類型（例如「為什麼」、「如何」、「何地」）與答案類型（例如名詞短語、地點）的 MRC 模型表現有何差異？
• RQ4 訓練數據量對越南語 MRC 模型表現的影響為何？與在更大規模英語與中文數據集上訓練的模型相比，其表現差異如何？
• RQ5 人類表現與模型表現在數據集的不同語言特徵上如何比較？這反映出當前模型的哪些限制？

主要发现

• 表現最佳的模型 XLM-R Large 在測試集上取得 87% 的 F1 分數，但仍低於估算的人類表現，顯示存在顯著的性能差距。
• 人類在該數據集上的表現遠高於最佳模型表現，顯示當前模型在處理越南語的複雜推理與語言細節方面仍顯吃力。
• 需要更深層推理的問題類型（如「為什麼」、「如何」、「何地」）的模型 F1 分數最低，顯示模型在因果與定位推理方面處理不佳。
• 涉及複雜名詞短語（佔數據集 22.86%）與地點答案的問題對模型而言尤其具挑戰性，原因在於越南語的句法複雜性。
• DrQA、QANet 與 mBERT 模型在訓練數據增加時表現有所提升，而 XLM-R Large 則在所有數據規模下均維持超過 86% 的穩定表現，顯示其具有更高的數據效率。
• 該數據集不僅僅需要簡單的詞彙匹配；分析結果確認其需要單句與多句推理，證實其適用於評估 MRC 中的高階推理能力。