[논문 리뷰] A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets

Changchang Zeng, Shaobo Li외 3명|arXiv (Cornell University)|2020. 06. 21.

Topic Modeling참고 문헌 104인용 수 9

한 줄 요약

이 논문은 기계적 독해(MRC)에 대한 종합적인 설문 조사로, 57개의 MRC 작업에 대해 새로운 4속성 분류법을 제안하고, 9개의 평가 지표와 10개의 MRC 데이터셋 특성 요소를 요약하며, 핵심 열린 문제점과 향후 연구 방향을 규명한다. 저자들은 MRC 공동체가 데이터셋, 논문, 베이스라인 및 랭킹을 지원할 수 있도록 공개 가능한 지식 기반을 구축하여 https://mrc-datasets.github.io/에 제공하며, MRC 분야에서 인간 수준의 이해에 이를 수 있도록 선도하고 있다.

ABSTRACT

Machine Reading Comprehension (MRC) is a challenging Natural Language Processing(NLP) research field with wide real-world applications. The great progress of this field in recent years is mainly due to the emergence of large-scale datasets and deep learning. At present, a lot of MRC models have already surpassed human performance on various benchmark datasets despite the obvious giant gap between existing MRC models and genuine human-level reading comprehension. This shows the need for improving existing datasets, evaluation metrics, and models to move current MRC models toward "real" understanding. To address the current lack of comprehensive survey of existing MRC tasks, evaluation metrics, and datasets, herein, (1) we analyze 57 MRC tasks and datasets and propose a more precise classification method of MRC tasks with 4 different attributes; (2) we summarized 9 evaluation metrics of MRC tasks, 7 attributes and 10 characteristics of MRC datasets; (3) We also discuss key open issues in MRC research and highlighted future research directions. In addition, we have collected, organized, and published our data on the companion website(https://mrc-datasets.github.io/) where MRC researchers could directly access each MRC dataset, papers, baseline projects, and the leaderboard.

연구 동기 및 목표

• MRC 작업, 평가 지표 및 벤치마크 데이터셋에 대한 종합적인 설문 조사가 부족한 문제를 해결하기 위해.
• 4가지 별도의 속성에 기반한 MRC 작업에 대한 정교한 분류 방법을 제안하기 위해.
• 9개의 평가 지표와 10개의 핵심 MRC 데이터셋 특성 요소를 체계적으로 요약하기 위해.
• MRC 분야에서 인간 수준의 이해를 달성하기 위해 열린 문제점과 향후 연구 방향을 규명하기 위해.
• MRC 연구 공동체를 지원하기 위해 데이터셋, 논문, 베이스라인 및 랭킹을 포함한 공개 가능한 지식 기반을 구축하고 유지하기 위해.

제안 방법

• 저자들은 57개의 MRC 작업과 데이터셋을 분석하여, 작업 유형, 답변 유형, 입력 형식, 추론 수준의 4가지 속성을 기반으로 한 새로운 분류 체계를 제안했다.
• MRC에서 사용되는 9개의 평가 지표를 분류하고, 다양한 작업 유형에 대한 적용 가능성 분석을 수행했다.
• MRC 데이터셋의 10가지 핵심 특성 요소를 식별하고 기술하였으며, 이는 스케일, 도메인, 주석 품질, 추론 복잡성 등을 포함한다.
• 2013년부터 2020년까지의 MRC 데이터셋, 논문 및 기본 모델을 수집하고 정리하기 위해 체계적인 문헌 리뷰를 수행했다.
• 연구자들이 사용할 수 있도록 보조 웹사이트(https://mrc-datasets.github.io/)를 개발하고 유지 관리하여 정제된 데이터셋, 논문, 기본 구현 코드 및 랭킹을 호스팅했다.
• 다양한 모odal 및 인간 유사 이해를 고려한 향후 MRC 모델 설계를 위한 뇌과학적 통찰을 통합하였다.

실험 결과

연구 질문

• RQ1 MRC 작업을 구분하는 데 핵심이 되는 차원은 무엇이며, 어떻게 체계적으로 분류할 수 있는가?
• RQ2 다양한 유형의 MRC 작업에 가장 적합한 평가 지표는 무엇이며, 이는 모델 성능을 어떻게 반영하는가?
• RQ3 고품질 MRC 데이터셋의 주요 특성 요소는 무엇이며, 이는 모델 개발에 어떻게 영향을 미치는가?
• RQ4 인간 수준의 기계적 독해를 달성하기 위해 해결해야 할 주요 열린 과제는 무엇인가?
• RQ5 뇌과학에서 도출된 통찰은 더 강력하고 인간 유사한 MRC 시스템 설계에 어떻게 기여할 수 있는가?

주요 결과

• 저자들은 MRC 작업을 더 정밀하고 체계적으로 분류할 수 있는 새로운 4속성 분류 프레임워크를 제안하였다.
• MRC 작업 전반에서 사용되는 9개의 다수의 평가 지표를 식별하였으며, 답변 유형과 작업 복잡도에 따라 적합도가 상이함을 확인하였다.
• 연구는 MRC 데이터셋의 10가지 핵심 특성 요소를 드러내었으며, 이는 스케일, 도메인 다양성, 주석 품질, 추론 깊이 등을 포함하여 모델 성능과 일반화 능력에 중대한 영향을 미친다.
• 최첨단 모델이 일부 벤치마크 데이터셋에서 인간 수준의 성능을 초월하고 있음에도 불구하고, 진정한 인간 수준의 이해를 달성하기 위한 여전히 큰 격차가 존재한다.
• 저자들은 고품질의 다중 모odal MRC 데이터셋과 뇌과학적 통찰의 통합이 인간 수준의 이해에 이를 수 있도록 발전시키기 위한 필요성을 강조하였다.
• 보조 웹사이트(https://mrc-datasets.github.io/)는 MRC 공동체를 위한 중심적이고 접근 가능하며 최신 상태의 자원으로 성공적으로 구축되었으며, 데이터셋, 논문, 베이스라인 및 랭킹을 호스팅하고 있다.