[논문 리뷰] PubMed 200k RCT: a Dataset for Sequential Sentence Classification in Medical Abstracts

Franck Dernoncourt, Ji Young Lee|arXiv (Cornell University)|2017. 10. 16.

Artificial Intelligence in Healthcare and Education인용 수 73

한 줄 요약

대규모 공개 데이터 세트(PubMed 200k RCT) 약 195k 무작위 대조 연구 초록의 연쇄 문장 분류를 위한 라벨링된 문장과 비교를 위한 baselines를 포함합니다.

ABSTRACT

We present PubMed 200k RCT, a new dataset based on PubMed for sequential sentence classification. The dataset consists of approximately 200,000 abstracts of randomized controlled trials, totaling 2.3 million sentences. Each sentence of each abstract is labeled with their role in the abstract using one of the following classes: background, objective, method, result, or conclusion. The purpose of releasing this dataset is twofold. First, the majority of datasets for sequential short-text classification (i.e., classification of short texts that appear in sequences) are small: we hope that releasing a new large dataset will help develop more accurate algorithms for this task. Second, from an application perspective, researchers need better tools to efficiently skim through the literature. Automatically classifying each sentence in an abstract would help researchers read abstracts more efficiently, especially in fields where abstracts may be long, such as the medical field.

연구 동기 및 목표

• 의료 초록에서 대규모 연쇄 문장 분류가 효율적인 문헌 훑기와 정보 추출에 도움이 됨을 뒷받침할 필요성을 제시한다.
• 문장 단위 레이블(배경, 목적, 방법, 결과, 결론)로 구성된 구조화된 PubMed 기반 데이터 세트를 구축하는 과정을 설명한다.
• 벤치마크 및 모델 개발을 촉진하기 위해 데이터 통계, 분할 및 접근 가능한 형식을 제공한다.

제안 방법

• 3–9개의 섹션이 있으며 'None' 레이블이 없는 RCT로 라벨링된 PubMed 초록으로 데이터셋을 구성한다.
• 편의를 위한 train/validation/test의 세 개의 분할과 PubMed 20k RCT의 작은 하위 세트를 제공한다.
• 전처리를 위한 원문 텍스트 버전과 수치 대체 버전의 두 가지 데이터셋 형식을 제공한다.
• LR+n-그램, Forward ANN, 맥락을 반영한 CRF, 결합 구성요소를 가진 bi-ANN 등 여러 베이스라인을 평가한다.
• 방법 간 직접 비교를 가능하게 하기 위해 F1-점수로 성능을 보고한다.

실험 결과

연구 질문

• RQ1 문장 맥락을 활용할 때 의료 초록에서 연쇄 문장 분류를 얼마나 잘 수행할 수 있는가?
• RQ2 대규모 PubMed 기반 연쇄 문장 분류의 벤치마크를 설정하는 기본 방법은 무엇인가?
• RQ3 규모( PubMed 200k vs PubMed 20k)가 기본 성능 및 방법의 효과에 어떤 영향을 미치는가?

주요 결과

• Bi-ANN이 PubMed 20k 및 PubMed 200k RCT에서 테스트된 베이스라인 중 가장 높은 F1 점수를 달성한다(예: 각각 90.0 및 91.6).
• CRF는 일반적으로 우수한 성능을 보이며 LR 및 Forward ANN보다 우수하지만 데이터 크기가 커질수록 이득은 작아진다.
• 간단한 n-그램 특징의 LR은 신경망 기반의 방법에 비해 성능이 떨어지며 맥락 모델링의 이점을 강조한다.
• PubMed 200k RCT는 이 작업에 사용 가능한 가장 큰 데이터 세트로 195,654개의 초록과 2.3백만 개의 문장을 포함한다.
• 저자들은 향후 연구를 위한 직접 비교 및 벤치마킹을 가능하게 하는 명확한 베이스라인을 제공한다.