[논문 리뷰] Text Classification of Cancer Clinical Trial Eligibility Criteria

Yumeng Yang, Soumya Jayaraj외 2명|PubMed|2023. 09. 14.

Biomedical Text Mining and Ontologies참고 문헌 37인용 수 7

한 줄 요약

이 연구는 764개의 3a상 암 임상시험의 입학 기준에서 자연어로 기술된 일곱 가지 일반적인 임상시험 배제 기준—과거 암, HIV, 간염 B/C, 정신질환, 약물 남용, 자가면역질환—을 자동으로 식별하기 위해 BERT 기반 텍스트 분류 모델을 개발하고 평가한다. 사전 훈련된 ClinicalTrialBERT 모델은 50만 개가 넘는 임상시험 입학 기준 섹션을 기반으로 사전 훈련되어 최신 기술 수준의 성능을 달성하며, 임상시험 NLP 작업에 특화된 사전 훈련의 실현 가능성과 효과성을 입증한다.

ABSTRACT

Automatic identification of clinical trials for which a patient is eligible is complicated by the fact that trial eligibility are stated in natural language. A potential solution to this problem is to employ text classification methods for common types of eligibility criteria. In this study, we focus on seven common exclusion criteria in cancer trials: prior malignancy, human immunodeficiency virus, hepatitis B, hepatitis C, psychiatric illness, drug/substance abuse, and autoimmune illness. Our dataset consists of 764 phase III cancer trials with these exclusions annotated at the trial level. We experiment with common transformer models as well as a new pre-trained clinical trial BERT model. Our results demonstrate the feasibility of automatically classifying common exclusion criteria. Additionally, we demonstrate the value of a pre-trained language model specifically for clinical trials, which yield the highest average performance across all criteria.

연구 동기 및 목표

• 자연어로 기술된 비정형 입학 기준으로 인해 수동적이고 시간이 오래 소요되는 암 임상시험의 환자-시험 매칭 문제를 해결하기 위해.
• 임상시험 등록부에 기록된 자유형 텍스트 형태의 입학 기준 기술에서 핵심 배제 기준을 식별할 수 있는 자동화된 텍스트 분류 모델을 개발하기 위해.
• 3a상 암 임상시험에서 흔히 나타나는 일곱 가지 배제 기준을 분류하는 데 있어 일반 목적 및 도메인 특화 BERT 모델의 성능을 평가하기 위해.
• 향후 분류 작업 성능 향상을 위해 임상시험 입학 기준에 특화해 미세조정된 새로운 사전 훈련된 언어 모델인 ClinicalTrialBERT를 개발하고 공개하기 위해.
• ClinicalTrials.gov와 연구 프로토콜/공개 논문 간에 배제 기준 기재에 차이가 있는지 조사하기 위해.

제안 방법

• ClinicalTrials.gov에서 764개의 3a상 암 임상시험을 수집하고, 일곱 가지 배제 기준의 유무를 레이블링하여 애너테이션을 수행하였다.
• 새로가 사전 훈련된 ClinicalTrialBERT 모델을 포함한 다섯 가지 최신 기술 수준의 도메인 특화 BERT 모델을 애너테이션 데이터셋에 대해 미세조정하였다.
• 임상시험 입학 기준 섹션 약 50만 개를 ClinicalTrials.gov에서 추출하여 ClinicalTrialBERT를 사전 훈련함으로써 도메인 특화 표현 학습을 향상시켰다.
• 일곱 가지 배제 기준 전반에 걸쳐 시험 수준 및 기준 수준에서 정밀도, 재현율, F1 점수를 사용해 모델 성능을 평가하였다.
• 사전 훈련된 언어 모델을 임상시험 텍스트 분류 작업에 적응시키기 위해 전이 학습 기법을 활용하였다.
• 초기 애너테이션 단계에서 높은 재현율 확보를 위해 키워드 기반 히우리스틱을 사용하여 강력한 모델 훈련을 지원하였다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델은 자연어로 기술된 암 임상시험 입학 기준의 일반적인 배제 기준을 효과적으로 분류할 수 있는가?
• RQ2 일반 목적 및 다른 도메인 특화 BERT 모델과 비교해 도메인 특화 사전 훈련된 언어 모델인 ClinicalTrialBERT는 이러한 기준을 분류하는 데 얼마나 우수한가?
• RQ3 정밀도, 재현율, F1 점수 등의 모델 성능 지표가 다양한 종류의 배제 기준, 특히 모호하거나 어색하게 표현된 기준에서 어떻게 달라지는가?
• RQ4 ClinicalTrials.gov, 연구 프로토콜, 그리고 발표된 논문 간에 배제 기준 기재가 얼마나 일관된가?
• RQ5 제안된 프레임워크는 비종양 임상시험으로 일반화될 수 있으며, 현재의 일곱 가지 기준을 초과해 추가 기준을 포함시킬 수 있는가?

주요 결과

• ClinicalTrialBERT 모델은 일곱 가지 배제 기준 전반에서 가장 높은 평균 F1 점수를 기록하여, 임상시험 입학 기준 텍스트에 특화된 사전 훈련의 가치를 입증하였다.
• 성능이 가장 뛰어난 모델들은 F1 점수 범위가 0.94에서 1.00에 이르며, 배제 기준 분류 시 높은 정밀도와 재현율을 보였다.
• 이 연구는 트랜스포머 기반 모델을 활용한 텍스트 분류가 암 임상시험의 핵심 배제 기준 식별에 실현 가능하고 효과적이라는 것을 확인하였다.
• 많은 임상시험에서 ClinicalTrials.gov, 프로토콜, 발표 논문 간에 배제 기준 기재가 일관되지 않게 나타나, 공개 등록부의 데이터 품질 문제를 드러냈다.
• 결과적으로 제안된 접근법은 특히 대규모 적용이 이루어질 경우 수작업 기반 환자-시험 매칭의 노력을 크게 줄일 수 있음을 시사한다.
• ClinicalTrialBERT 개발은 이 연구를 넘어서 향후 임상시험 NLP 응용 분야에 재사용 가능하고 고성능 기반 모델을 제공한다.