[논문 리뷰] BIOMRC: A Dataset for Biomedical Machine Reading Comprehension

Petros Stavropoulos, Dimitris Pappas외 2명|arXiv (Cornell University)|2020. 05. 13.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 고정밀도 PubTator 엔티티 주석을 사용하여 PubMed 초록과 제목에서 유도된 대규모, 저잡음 생물의학 기계독해(MRC) 데이터셋인 biomrc를 소개한다. 기존의 잡음이 많은 데이터셋인 BioRead와 달리, biomrc는 구조화된 제목과 초록만을 사용함으로써 아티팩트를 줄여 인간과 모델 성능을 크게 향상시켰으며, BERT 기반 모델이 특정 벤치마크에서 전문가 수준의 정확도를 초월하는 결과를 보였다.

ABSTRACT

We introduce BIOMRC, a large-scale cloze-style biomedical MRC dataset. Care was taken to reduce noise, compared to the previous BIOREAD dataset of Pappas et al. (2018). Experiments show that simple heuristics do not perform well on the new dataset, and that two neural MRC models that had been tested on BIOREAD perform much better on BIOMRC, indicating that the new dataset is indeed less noisy or at least that its task is more feasible. Non-expert human performance is also higher on the new dataset compared to BIOREAD, and biomedical experts perform even better. We also introduce a new BERT-based MRC model, the best version of which substantially outperforms all other methods tested, reaching or surpassing the accuracy of biomedical experts in some experiments. We make the new dataset available in three different sizes, also releasing our code, and providing a leaderboard.

연구 동기 및 목표

• 기존의 생물의학 MRC 데이터셋인 BioRead와 같이 전문문서 전체에서의 추출로 인한 아티팩트와 정확도가 떨어지는 엔티티 주석 문제를 해결하기 위해.
• 생물의학 기계독해의 품질과 실행 가능성을 향상시키기 위해, 더 잘 구조화되어 있고 섹션 간 교차나 관련 없는 내용이 적은 PubMed 제목과 초록에 국한하여 데이터를 제한함으로써.
• 기존 신경망 모델을 능가하고 새로운 데이터셋에서 전문가 성능을 충족하거나 초월하는 고성능 BERT 기반 MRC 모델을 개발하기 위해.
• 재현 가능 연구와 생물의학 NLP 분야의 모델 벤치마킹을 지원하기 위해, 코드와 랭킹보드를 포함해 biomrc를 세 가지 크기(Large, Lite, Tiny)로 공개하기 위해.

제안 방법

• PubTator 레포지토리를 통해 2,500만 개의 PubMed 항목에서 제목과 초록을 추출하여 biomrc 데이터셋을 구축함으로써, 구조화되고 신뢰할 수 있는 텍스트 소스를 확보함.
• MetaMap보다 더 정확한 DNorm을 사용해 생물의학 엔티티 주석을 수행함으로써, 엔티티 오인식과 가짜 양성 결과를 감소시킴.
• 제목 내의 생물의학 엔티티를 자리표시자로 대체하여 클로즈 스타일의 질문을 생성함으로써, 모델이 초록 내의 엔티티 중에서 정확한 엔티티를 예측하도록 유도함.
• 너무 쉬운 인스턴스를 제거하기 위해 데이터 필터링을 구현함으로써, 데이터셋의 난이도를 높이고 단순한 해결책을 줄임.
• 엔티티 표현에 대한 최대 집합(max-aggregation)을 적용한 새로운 BERT 기반 MRC 모델을 개발하여 답변 예측 성능을 향상시킴.
• 812,000개, 100,000개, 60개의 테스트 인스턴스로 구성된 세 가지 크기의 데이터셋을 공개하였으며, 코드와 공개 랭킹보드를 함께 제공함.

실험 결과

연구 질문

• RQ1 PubMed 제목과 초록에서 유도된 생물의학 MRC 데이터셋은 BioRead와 같이 전문문서 전체에서 추출한 데이터셋에 비해 유의미하게 낮은 잡음과 높은 인간 성능을 달성할 수 있는가?
• RQ2 기존의 단순 히ュ리스틱 기반 모델들이 새로운 biomrc 데이터셋에서 실패하는가? 이는 데이터셋 아티팩트 감소와 작업 난이도 증가를 시사하는가?
• RQ3 biomrc에서 훈련된 BERT 기반 MRC 모델이 동일한 작업에서 생물의학 전문가의 성능을 충족하거나 초월할 수 있는가?
• RQ4 biomrc와 같이 대규모 자동 생성된 데이터셋에서 사전 훈련된 모델이 더 작은 전문가 주석 기반 생물의학 MRC 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• biomrc에서 인간의 성능은 BioRead보다 유의미하게 높았다: 비전문가가 30개 샘플에서 82%의 정확도를 기록한 반면, BioRead에서는 68%였으며, 이는 잡음 감소와 작업 실행 가능성 향상을 시사한다.
• 생물의학 전문가들이 biomrc에서 70.23–72.30%의 코HEN’s Kappa 일致도를 기록하여, 높은 평가자 간 일致성과 데이터셋의 품질을 확인함.
• 이전에 테스트된 두 개의 신경망 MRC 모델이 biomrc에서 BioRead보다 훨씬 더 뛰어난 성능을 보였으며, 이는 biomrc가 더 낮은 잡음 또는 신경망 학습에 더 적합함을 시사한다.
• 제안된 BERT 기반 MRC 모델은 테스트된 모든 다른 방법보다 뛰어난 성능을 보였으며, 특정 평가 환경에서는 전문가 인간의 정확도를 도달하거나 초월함.
• 고품질의 주석과 구조화된 설계 덕분에 인간의 성능이 BioRead 대비 60% 향상되었으며, 이는 데이터 정제 전략의 효과성을 검증함.
• 세 가지 크기로 공개된 biomrc, 코드, 랭킹보드의 제공을 통해 생물의학 NLP 연구 분야에서 확장 가능한 벤치마킹과 재현 가능한 평가가 가능해짐.