[논문 리뷰] Understanding Clinical Trial Reports: Extracting Medical Entities and Their Relations

Benjamin Nye, Jay DeYoung외 4명|arXiv (Cornell University)|2020. 10. 07.

Biomedical Text Mining and Ontologies인용 수 10

한 줄 요약

이 논문은 무작위 대조 시험(RCT) 보고서에서 구조화된 임상 증거—치료법, 결과 및 비교 결과—를 추출하기 위한 엔드 투 엔드 시스템을 소개한다. Extract, Link, Infer (ELI) 방법을 제안하며, 시험 보고 방식의 언어 패턴을 활용하여 최신 NLP 모델을 능가하고, 암 치료법 재활용 기회를 모색하는 비영리기관과의 현장 평가를 통해 실용성을 입증한다.

ABSTRACT

The best evidence concerning comparative treatment effectiveness comes from clinical trials, the results of which are reported in unstructured articles. Medical experts must manually extract information from articles to inform decision-making, which is time-consuming and expensive. Here we consider the end-to-end task of both (a) extracting treatments and outcomes from full-text articles describing clinical trials (entity identification) and, (b) inferring the reported results for the former with respect to the latter (relation extraction). We introduce new data for this task, and evaluate models that have recently achieved state-of-the-art results on similar tasks in Natural Language Processing. We then propose a new method motivated by how trial results are typically presented that outperforms these purely data-driven baselines. Finally, we run a fielded evaluation of the model with a non-profit seeking to identify existing drugs that might be re-purposed for cancer, showing the potential utility of end-to-end evidence extraction systems.

연구 동기 및 목표

• 비구조화된 RCT 보고서에서 비교적 치료 효과 데이터를 수작업으로 추출하는 데 드는 시간과 비용이 많아지는 문제를 해결하기 위해.
• RCT 초록에서 임상 엔티티 식별(치료법, 비교군, 결과)과 관계 추출(보고된 결과)을 통합한 새로운 엔드 투 엔드 작업을 소개하기 위해.
• 시험 결과 보고 방식의 언어 패턴에 기반한 도메인 특화 통찰을 반영한 새로운 방법인 Extract, Link, Infer (ELI)를 개발하고 평가하기 위해.
• 암 치료법 재활용에 초점을 맞춘 비영리기관 RebootRX와의 현장 평가를 통해 시스템의 실제 활용 가능성을 평가하기 위해.
• 미래의 임상 증거 추출 연구를 위해 공개할 수 있는 새로운 원거리 지도 학습 훈련 데이터셋과 직접 지도 학습 테스트 세트를 제공하기 위해.

제안 방법

• ELI 모델은 모듈러한 파이프라인을 사용한다: 먼저 후보 엔티티(치료법, 결과, 비교군)를 추출한 후, 공명 및 의미 클러스터링을 이용해 텍스트 전반에서 동일한 엔티티를 가리키는 언급을 연결한다.
• 시스템은 문장 수준의 맥락, 특히 결과가 일반적으로 서술되는 결론 문장에 주목하여 각 ICO 삼중항에 대해 보고된 결과(예: 유익, 해로움, 차이 없음)를 추론한다.
• 시험 결과는 종종 간접적으로 전달되며, 주요 치료법이 명시적으로 언급되는 경우는 단 28%에 불과하여 언어적 신호에 기반한 추론이 필요하다는 관찰에 기반한다.
• 모델는 새로운 데이터셋을 사용해 훈련 및 평가된다: 대규모 원거리 지도 학습 훈련 세트와 완전한 삼중항 수준의 주석이 달린 수작업으로 작성된 테스트 세트.
• 도메인 특화 언어 패턴을 추론 과정에 통합함으로써, DyGIE++와 같은 최신의 공동 모델보다 우수한 성능을 발휘한다.
• 모델는 공동 및 모듈러 훈련 모드를 모두 지원하여, 지도 학습 유형과 구성 요소 설계의 영향을 분리해 분석할 수 있는 아블레이션 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈러하고 언어학적으로 정보화된 접근 방식이 엔드 투 엔드 임상 증거 추출에서 순수 데이터 기반 공동 NLP 모델을 능가할 수 있는가?
• RQ2 Extract, Link, Infer (ELI) 방법은 RCT 초록 전반에서 다양한 언급 방식의 치료법과 결과를 얼마나 효과적으로 식별하고 연결할 수 있는가?
• RQ3 표준 평가 지표에서 낮은 절대 F-점수는 임상 의사결정 지원에서 실제 활용 가능성에 얼마나 반영되는가?
• RQ4 시험 보고서에서의 공명 및 간접적 언급 패턴은 증거 추출 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 ICO 삼중항과 그 보고된 결과를 엔드 투 엔드로 추출하기 위해 설계된 시스템은 암 치료법 재활용과 같은 실제 응용 분야에서 실질적인 유용성을 가질 수 있는가?

주요 결과

• ELI 모델은 제안된 임상 증거 추출 작업에서 DyGIE++와 같은 최신 공동 모델보다 뛰어난 성능을 보였다.
• RebootRX와의 현장 평가에서 20개 문서로 구성된 테스트 세트에서 재현율 80.0%, 정밀도 63.8%를 기록하여 절대 F-점수가 낮음에도 불구하고 실용적 유용성을 입증했다.
• 보고된 결과의 방향성 오류가 추출 오류의 47.6%를 차지하여 결과 추론 과정에서의 핵심 과제임을 시사했다.
• 본 연구는 새로운 원거리 지도 학습 훈련 데이터셋과 완전한 삼중항 주석이 달린 직접 지도 학습 테스트 세트를 도입하였으며, 향후 연구를 위해 공개될 예정이다.
• 절대 F-점수가 낮음에도 불구하고 도메인 전문가들은 모델 출력이 암 치료법 재활용을 위한 후보 약물 식별에 유용하다고 평가했다.
• 결과적으로, 비완전한 시스템이라도 시험 보고 방식에 대한 언어학적 및 구조적 통찰이 제공된다면 증거 통합에 의미 있는 지원을 제공할 수 있음을 시사한다.