[논문 리뷰] A generic rule-based system for clinical trial patient selection

Jianlin Shi, Kevin Graves외 1명|arXiv (Cornell University)|2019. 07. 16.

Ethics in Clinical Research참고 문헌 12인용 수 4

한 줄 요약

이 논문은 임상 시험에서 다양하게 구성된 포함 및 배제 기준을 충족하는 환자를 식별하기 위한 일반적인 규칙 기반 자연어 처리 파이프라인을 제시한다. 임상 노트에 대한 구조화된 규칙 매칭을 사용하여, 시스템은 n2c2 2018 도전 대회에서 평균 F1 스코어 0.89를 기록했으며, 45개 팀 중 8위를 기록하여 딥 러닝에 의존하지 않고도 뛰어난 성능을 보였다.

ABSTRACT

The n2c2 2018 Challenge task 1 aimed to identify patients who meet lists of heterogeneous inclusion/exclusion criteria for a hypothetical clinical trial. We demonstrate a generic rule-based natural language pipeline can support this task with decent performance (the average F1 score on the test set is 0.89, ranked the 8th out of 45 teams ).

연구 동기 및 목표

• 임상 시험에서 복잡하고 다양한 포함 및 배제 기준을 충족하는 환자를 식별하는 데 도전 과제를 해결하기 위해.
• 딥 러닝 모델에 의존하지 않는 일반적이고 재사용 가능한 규칙 기반 시스템을 개발하기 위해.
• 자연어 처리를 활용하여 실생활 임상 데이터에서 환자 선별 정확도를 향상시키기 위해.
• 자유형식 임상 기준의 해석을 자동화하여 임상 시험 모집을 지원하기 위해.
• 임상 NLP 분야의 표준화된 벤치마크 과제에서 높은 성능를 달성하기 위해.

제안 방법

• 시스템은 규칙 기반 파이프라인을 사용하여 임상 시험 자격 기준을 구조화된 임상 노트와 매칭한다.
• 질병, 절차, 약물과 같은 의료 개념을 추출하기 위해 명명된 실체 인식 및 정규화를 적용한다.
• 임상 텍스트 내 시간, 否정, 비교 표현을 처리하기 위해 의미 규칙을 정의한다.
• 자격 여부를 평가하기 위해 키워드 매칭, 패턴 매칭, 임상 추론 규칙의 조합을 사용한다.
• 부정(예: '당뇨병 병력 없음') 및 시간 수식어(예: '최근 6개월 이내')와 같은 복잡한 언어적 구성 요소를 처리하기 위해 규칙를 설계한다.
• 재학습 없이도 다양한 임상 시험 기준에 적응할 수 있도록 일반화된 설계를 한다.

실험 결과

연구 질문

• RQ1 딥 러닝에 의존하지 않고도 규칙 기반 시스템이 임상 시험 환자 선별 과제에서 경쟁 가능한 성능를 달성할 수 있는가?
• RQ2 일반적인 규칙 기반 접근 방식은 다양한 복잡한 자격 기준을 얼마나 효과적으로 처리할 수 있는가?
• RQ3 규칙 기반 시스템이 다양한 임상 시험 기준과 임상 노트 유형 간에 얼마나 일반화될 수 있는가?
• RQ4 언어적 복잡성(예: 부정, 시간 표현)이 규칙 기반 환자 선별 정확도에 어떤 영향을 미치는가?
• RQ5 n2c2 2018 도전 대회에서 규칙 기반 시스템의 성능는 딥 러닝 모델에 비해 어떻게 비교되는가?

주요 결과

• 규칙 기반 시스템은 n2c2 2018 도전 대회 테스트 세트에서 평균 F1 스코어 0.89를 기록하여 뛰어난 성능를 보였다.
• 도전 대회에서 45개 팀 중 8위를 기록하여 더 복잡한 모델들과 경쟁적으로 결과를 냈다.
• 부정, 시간 표현, 수식어와 같은 복잡한 언어적 현상을 효과적으로 처리했다.
• 일반적인 설계 덕분에 재학습 없이도 다양한 임상 시험 기준에 적용할 수 있었다.
• careful하게 설계된 규칙 기반 시스템은 임상 시험 환자 선별 과정에서 매우 효과적일 수 있음을 보여주었다.
• 시스템의 성능는 임상 NLP 과제에서 언어 정밀도와 구조화된 규칙 설계의 가치를 부각시켰다.