[논문 리뷰] Information Extraction of Clinical Trial Eligibility Criteria

Yitong Tseo, M. I. Salkola외 3명|arXiv (Cornell University)|2020. 06. 12.

Topic Modeling참고 문헌 21인용 수 5

한 줄 요약

이 논문은 ClinicalTrials.gov의 비정형 텍스트에서 임상 시험 참가 자격 기준을 추출하고 기반화하기 위한 혁신적인 지식 기반 인덱싱 프레임워크를 제시한다. 주목할 만한 점은 주의 기반 BiLSTM-CRF 모델을 사용한 세분화된 명명된 실체 인식(F1=0.802)과 word2vec 임베딩 군집화를 통한 실체 연결(정확도=0.485)을 융합하여 종합 정확도 75.3%를 달성했으며, 기존 시스템인 Criteria2Query에 비해 핵심 모듈에서 뛰어난 성능을 보이며 경쟁력 있는 오픈소스 파이프라인을 확립했다.

ABSTRACT

Clinical trials predicate subject eligibility on a diversity of criteria ranging from patient demographics to food allergies. Trials post their requirements as semantically complex, unstructured free-text. Formalizing trial criteria to a computer-interpretable syntax would facilitate eligibility determination. In this paper, we investigate an information extraction (IE) approach for grounding criteria from trials in ClinicalTrials(dot)gov to a shared knowledge base. We frame the problem as a novel knowledge base population task, and implement a solution combining machine learning and context free grammar. To our knowledge, this work is the first criteria extraction system to apply attention-based conditional random field architecture for named entity recognition (NER), and word2vec embedding clustering for named entity linking (NEL). We release the resources and core components of our system on GitHub at https://github.com/facebookresearch/Clinical-Trial-Parser. Finally, we report our per module and end to end performances; we conclude that our system is competitive with Criteria2Query, which we view as the current state-of-the-art in criteria extraction.

연구 동기 및 목표

• 임상 시험의 낮은 모집률과 다양성 부족 문제를 해결하기 위해 비정형 텍스트에서 참가 자격 기준을 자동으로 추출하는 데 목적이 있다.
• 임상 시험 참가 자격 기준 추출을 지식 기반 인덱싱 작업으로 정형화하여 복잡한 자유 텍스트 기준을 기계가 이해할 수 있는 표현 방식을 가능하게 한다.
• 주의 기반 딥 러닝과 자기지도 학습 임베딩 군집화를 도입하여 임상 시험 기준 내 실체 인식 및 연결 성능을 향상시킨다.
• 기존 최첨단 접근 방식보다 핵심 모듈(예: NER 및 NEL)에서 뛰어난 성능을 보이는 경쟁력 있는 오픈소스 시스템을 개발한다.
• 연구 재현성과 벤치마킹을 위해 121,221개의 임상 실체, 속성, 제한 조건으로 구성된 대규모 인간 레이블링 데이터셋을 공개한다.

제안 방법

• 시스템은 참가 자격 기준 추출을 지식 기반 인덱싱 작업으로 프레임워크화하여 두 모듈로 분해한다: 명명된 실체 인식(NER) 및 문맥 자유 문법(CFG) 기반 속성 및 제약 조건 추출.
• 세분화된 NER를 위해 주의 기반 BiLSTM-CRF 아키텍처를 사용하며, 치료법, 만성 질환, 알레르기 등 10개의 실체 유형을 인식하고, 문맥 이해를 향상시키기 위해 주의 메커니즘을 적용한다.
• 명명된 실체 연결(NEL)을 위해 시험 기술서에 기반한 word2vec 임베딩을 학습하고 군집화하여 지식 기반에 매핑함으로써 수동 개념 세트 없이 자기지도 학습 기반 기반화를 실현한다.
• CFG 엔진은 문법 규칙을 활용해 속성 인식, 연결 및 제약 조건 추출(예: >18세, <25 kg/m²)을 동시에 수행하며, 복잡한 기준을 구문 분석한다.
• 규칙 기반 부정 감지 모듈은 'not', 'no' 등의 부정어를 탐지하여 배제 기준을 식별하며, 정확도는 83.8%이다.
• 파이프라인은 85개의 골드 표준 시험에 대해 종합적으로 평가되었으며, 의료 전문가의 평가를 통해 성능을 검증하였다.

실험 결과

연구 질문

• RQ1 기존의 전통적 CRF 모델에 비해 주의 기반 신경망 아키텍처가 임상 시험 참가 자격 기준 내 세분화된 명명된 실체 인식 성능을 향상시킬 수 있는가?
• RQ2 자기지도 학습 word2vec 임베딩 군집화가 규칙 기반 또는 개념 세트 기반 접근 방식보다 임상 시험 기준의 실체 연결 성능을 뛰어나게 할 수 있는가?
• RQ3 문맥 자유 문법 엔진이 의미적으로 복잡한 자유 텍스트 기반 참가 자격 기준에서 속성 제약 조건을 정확하게 추출하고 구문 분석할 수 있는 정도는 어느 정도인가?
• RQ4 전체 시스템 성능이 현재 최첨단 기준으로 여겨지는 Criteria2Query에 비해 종합적인 기준 추출 정확도에서 어떻게 비교되는가?
• RQ5 실체 연결의 주요 병목 현상은 무엇이며, 더 구체적인 임상 온톨로지로 지식 기반을 확장함으로써 이를 완화할 수 있는가?

주요 결과

• 제안된 주의 기반 BiLSTM-CRF 모델은 10개 실체 유형에 대해 F1 스코어 0.802를 달성하여 일반 목적 NER보다 높은 성능(기존 Criteria2Query의 F1=0.804)을 보였으며, 더 세분화된 실체 유형을 포괄한다.
• word2vec 임베딩 군집화 기반 NEL은 정확도 0.485를 기록하여 Criteria2Query의 NEL(0.447)를 略로 뛰어넘었지만, 여전히 유효한 추출의 41.6%를 기반화하지 못하는 문제가 존재한다.
• CFG 기반 속성 및 제약 조건 추출은 골드 세트에서 정밀도 93.8%(15/16)를 기록했으며, 유추된 연결 정확도는 75.0%(15/20)로, 구조화된 속성 추출에서 뛰어난 성능을 입증했다.
• 부정 감지 모듈은 정확도 83.8%(57/68)를 기록하여 배제 기준을 효과적으로 처리했으며, 이는 Criteria2Query 프레임워크에 존재하지 않는 기능이다.
• 종합 시스템은 골드 세트에서 종합 정확도 75.3%(64/85)를 달성하여 Criteria2Query와 경쟁 가능한 성능을 보였으며, 현재 최첨단 기준으로 여겨진다.
• 저자들은 121,221개의 실체, 속성, 제한 조건으로 구성된 대규모 인간 레이블링 데이터셋을 공개하였으며, 훈련 데이터, 모델, 코드를 GitHub에 함께 제공하여 재현성과 향후 벤치마킹을 가능하게 하였다.