[논문 리뷰] ITTC @ TREC 2021 Clinical Trials Track

Thinh Hung Truong, Yulia Otmakhova외 7명|arXiv (Cornell University)|2022. 02. 16.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 TREC 2021 임상 시험 트랙을 위한 ITTC 시스템을 제시하며, 환자 입원 기록을 적합한 임상 시험에 매칭하기 위해 다중 텍스트 표현 전략—전체 텍스트, 키워드, 실체 기반 쿼리—을 BM25 검색과 융합한다. 최고 성능을 보인 런(런 5)은 AP@10가 0.273를 기록하여 중앙값을 크게 상회했으며, 이는 부정어를 고려한 실체 필터링이 표준 키워드 또는 전체 텍스트 방법보다 검색 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

This paper describes the submissions of the Natural Language Processing (NLP) team from the Australian Research Council Industrial Transformation Training Centre (ITTC) for Cognitive Computing in Medical Technologies to the TREC 2021 Clinical Trials Track. The task focuses on the problem of matching eligible clinical trials to topics constituting a summary of a patient's admission notes. We explore different ways of representing trials and topics using NLP techniques, and then use a common retrieval model to generate the ranked list of relevant trials for each topic. The results from all our submitted runs are well above the median scores for all topics, but there is still plenty of scope for improvement.

연구 동기 및 목표

• 환자 입원 기록과 임상 시험 간의 자동 매칭을 향상시키기 위한 NLP 기반 시스템 개발.
• 다양한 텍스트 표현 방식(전체 텍스트, 키워드, 실체)이 환자-시험 매칭에서의 검색 성능에 미치는 영향을 조사.
• 특히 임상 시험 기준 내의 부정어 처리 전략, 즉 포함 기준과 배제 기준의 처리 방법 평가.
• 환자 요약에서의 약어, 암묵적 진단, 노이즈가 많은 정보와 같은 임상 텍스트의 과제 해결.
• 구조적 및 의미적 텍스트 분석을 통해 환자 선별 효율성을 향상시켜 임상 시험의 모집 효율성 제고.

제안 방법

• 주제 쿼리 기반으로 임상 시험을 순위 매기기 위해 BM25를 기본 검색 모델로 사용.
• 다양한 쿼리 표현 방식 탐색: 전체 텍스트, 키워드 추출어, 환자 기록에서 유도된 실체 기반 문자열.
• 부정어 탐지를 적용하여 쿼리 표현에서 부정된 실체를 제외함으로써 정밀도 향상.
• 임상 시험 문서를 포함 기준과 배제 기준으로 분리한 후, 집합 차집합 연산을 통해 결과를 정제.
• 나이, 성별, 임상 변수 등의 메타데이터를 텍스트 표현과 융합하여 관련성 향상.
• AP@10를 평가 지표로 사용하여, 모든 팀의 기준점 및 중앙값 점수와의 비교를 통해 성능 평가.

실험 결과

연구 질문

• RQ1 다양한 텍스트 표현 방식(전체 텍스트, 키워드, 실체)이 환자-시험 매칭에서의 검색 성능에 어떤 영향을 미치는가?
• RQ2 부정어를 고려한 쿼리 구성은 적합한 임상 시험 식별에 있어 개선 효과를 보일 수 있는가?
• RQ3 포함 기준과 배제 기준을 조합하는 집합 차집합 접근 방식은 관련 시험을 걸러내는 데 얼마나 효과적인가?
• RQ4 나이, 성별 등의 구조적 메타데이터를 포함시키면 순수 텍스트 매칭 대비 검색 성능 향상이 이루어지는가?
• RQ5 특정 주제에서 성능이 열악한 데 이르는 임상 텍스트의 주요 과제는 무엇인가?

주요 결과

• 최고 성능을 기록한 런(런 5: 실체 중심, 부정어 고려)은 AP@10가 0.273를 기록하여 모든 팀의 중앙값 점수보다 0.111점 높았다.
• 모든 제출 런이 기준점(AP@10 = 0.216)을 초월했으며, 런 3(포함 및 배제 텍스트의 집합 차집합)가 중앙값 기준으로 가장 높은 향상(0.127점)을 기록했다.
• 키워드 기반 쿼리 표현을 사용한 런은 전체 텍스트나 실체 기반 방법보다 성능이 열악했으며, 이는 키워드 추출 과정에서 정보 손실가 발생했음을 시사한다.
• 부정된 실체를 쿼리에서 제외한 방식(런 5)은 키워드 극성 반전 방식(런 2)보다 더 효과적이었으며, 이는 부정어 의미 처리의 우수성을 반영한다.
• 약어 밀도가 높은 주제(예: 주제 9, 10, 32, 53) 또는 의료어휘 빈도가 낮은 주제(예: 주제 44)는 일관되게 매칭이 어려웠으며, 이는 코퍼스 내 적합한 시험이 적었기 때문이었다.
• 나이, 성별, 임상 변수 등의 메타데이터는 텍스트와 융합되었을 때 검색 성능 향상에 기여했으며, 이는 런 2가 전체 텍스트 기반 기준점 대비 더 높은 성능을 기록한 것으로 확인되었다.