[論文レビュー] A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets

Changchang Zeng, Shaobo Li+3 more|arXiv (Cornell University)|Jun 21, 2020

Topic Modeling参考文献 104被引用数 9

ひとこと要約

本稿は、機械読解（MRC）に関する包括的なサーベイを提示し、57のMRCタスクを対象に、4つの属性に基づく新規分類法を提案するとともに、9つの評価指標と10のMRCデータセットの特徴を要約し、主な未解決問題と今後の研究方向性を特定している。著者らは、MRCコミュニティがデータセット、論文、ベースライン、リーダーボードを活用できるように、公開可能な知識ベースを https://mrc-datasets.github.io/ に構築した。これにより、MRC分野における人間水準の理解に向けた前進が図られた。

ABSTRACT

Machine Reading Comprehension (MRC) is a challenging Natural Language Processing(NLP) research field with wide real-world applications. The great progress of this field in recent years is mainly due to the emergence of large-scale datasets and deep learning. At present, a lot of MRC models have already surpassed human performance on various benchmark datasets despite the obvious giant gap between existing MRC models and genuine human-level reading comprehension. This shows the need for improving existing datasets, evaluation metrics, and models to move current MRC models toward "real" understanding. To address the current lack of comprehensive survey of existing MRC tasks, evaluation metrics, and datasets, herein, (1) we analyze 57 MRC tasks and datasets and propose a more precise classification method of MRC tasks with 4 different attributes; (2) we summarized 9 evaluation metrics of MRC tasks, 7 attributes and 10 characteristics of MRC datasets; (3) We also discuss key open issues in MRC research and highlighted future research directions. In addition, we have collected, organized, and published our data on the companion website(https://mrc-datasets.github.io/) where MRC researchers could directly access each MRC dataset, papers, baseline projects, and the leaderboard.

研究の動機と目的

• MRCタスク、評価指標、ベンチマークデータセットに関する包括的サーベイの不足に対処すること。
• 4つの異なる属性に基づく、MRCタスクの洗練された分類法を提案すること。
• 9つの評価指標と10のMRCデータセットの主要特徴を体系的に要約すること。
• MRC分野における主な未解決問題を特定し、人間水準の理解に向けた今後の研究方向性を提案すること。
• MRC研究コミュニティを支援するため、データセット、論文、ベースライン、リーダーボードを含む、公開可能な知識ベースを構築・維持すること。

提案手法

• 著者らは57のMRCタスクおよびデータセットを分析し、タスクタイプ、回答タイプ、入力形式、推論レベルの4つの属性に基づく新しい分類法を提案した。
• MRCで用いられる9つの評価指標を分類・要約し、異なるタスクタイプにおける適用可能性を分析した。
• MRCデータセットの10の主要特徴（規模、ドメイン、アノテーション品質、推論の複雑さなど）を特定・記述した。
• 2013年から2020年までのMRCデータセット、論文、ベースラインモデルを収集・整理するため、体系的な文献レビューを実施した。
• MRCデータセット、論文、ベースライン実装、リーダーボードをホスティングする補足ウェブサイト（https://mrc-datasets.github.io/）を構築・維持した。
• 認知神経科学の知見を統合し、マルチモーダルで人間らしく理解できるMRCモデルの設計に活用した。

実験結果

リサーチクエスチョン

• RQ1 MRCタスクを区別するための主要な次元は何であり、どのように体系的に分類できるか？
• RQ2 異なるタイプのMRCタスクに最も適した評価指標は何か、またそれらはモデルのパフォーマンスをどのように反映するか？
• RQ3 高品質なMRCデータセットの定義づける特徴は何か、そしてそれらがモデル開発にどのように影響するか？
• RQ4 人間水準の機械読解を達成するにあたり、主な未解決課題は何か？
• RQ5 認知神経科学の知見は、より強固で人間らしく理解できるMRCシステムの設計にどのように寄与できるか？

主な発見

• 著者らは、MRCタスクをより正確かつ体系的に分類するための新しい4属性分類フレームワークを提案した。
• MRCタスク全体で用いられる9つの異なる評価指標を同定し、回答タイプやタスクの複雑さに応じて適切さが異なることを明らかにした。
• MRCデータセットの10の主要特徴（規模、ドメインの多様性、アノテーション品質、推論の深さなど）を明らかにした。これらはモデルのパフォーマンスと一般化能力に顕著な影響を与えることが分かった。
• 最先端のモデルは一部のベンチマークデータセットで人間の性能を上回っているが、真の意味での人間水準の理解に到達するには依然として大きな格差が存在する。
• 高品質でマルチモーダルなMRCデータセットの必要性と、認知神経科学の知見の統合が、人間水準の理解に向けた前進に不可欠であると強調した。
• 補足ウェブサイト（https://mrc-datasets.github.io/）は、MRCコミュニティのための集中管理型でアクセス可能かつ最新のリソースとして、成功裏に構築された。ここには、データセット、論文、ベースライン、リーダーボードが収容されている。