[논문 리뷰] Developing a general-purpose clinical language inference model from a large corpus of clinical notes

Madhumita Sushil, Dana Ludwig외 2명|arXiv (Cornell University)|2022. 10. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 UCSF에서 제공한 7500만 건의 익명화된 임상 기록을 사용하여 도메인 특화 어휘와 BERT 아키텍처를 활용해 훈련한 일반 목적의 임상 언어 추론 모델을 소개한다. 이 모델은 공개 벤치마크에서 최고 성능을 기록하며, 내부 UCSF 작업에서 기존 모델을 크게 능가함으로써 대규모 내부 도메인 사전 훈련이 문서 인코딩 및 추론 정확도를 향상시킴을 보여주며, 특히 긴 텍스트에서 두드러진다.

ABSTRACT

Several biomedical language models have already been developed for clinical language inference. However, these models typically utilize general vocabularies and are trained on relatively small clinical corpora. We sought to evaluate the impact of using a domain-specific vocabulary and a large clinical training corpus on the performance of these language models in clinical language inference. We trained a Bidirectional Encoder Decoder from Transformers (BERT) model using a diverse, deidentified corpus of 75 million deidentified clinical notes authored at the University of California, San Francisco (UCSF). We evaluated this model on several clinical language inference benchmark tasks: clinical and temporal concept recognition, relation extraction and medical language inference. We also evaluated our model on two tasks using discharge summaries from UCSF: diagnostic code assignment and therapeutic class inference. Our model performs at par with the best publicly available biomedical language models of comparable sizes on the public benchmark tasks, and is significantly better than these models in a within-system evaluation on the two tasks using UCSF data. The use of in-domain vocabulary appears to improve the encoding of longer documents. The use of large clinical corpora appears to enhance document encoding and inferential accuracy. However, further research is needed to improve abbreviation resolution, and numerical, temporal, and implicitly causal inference.

연구 동기 및 목표

• 도메인 특화 어휘와 대규모 임상 코퍼스가 임상 언어 추론 모델 성능에 미치는 영향을 평가하는 것.
• 다양한 임상 NLP 작업을 처리할 수 있는 일반 목적의 임상 언어 모델을 개발하는 것.
• 내부 도메인 사전 훈련을 통해 장문의 임상 기록에서의 문서 인코딩 및 추론 정확도를 향상시키는 것.
• 진단 코드 부여 및 치료적 클래스 추론을 위한 공개 벤치마크와 내부 UCSF 임상 데이터에서의 모델 성능 평가.
• 미래 개선을 위한 번역어 해결, 수치적 추론, 시간적 추론 및 인과 추론 분야의 한계를 규명하는 것.

제안 방법

• UCSF의 익명화된 7500만 건의 임상 기록 코퍼스를 기반으로 BERT 아키텍처에 기반한 양방향 인코더 디코더를 미세조정하였다.
• 의료 용어에 특화된 도메인 특화 어휘를 사용하여 의료 개념의 인코딩을 향상시켰다.
• 장문의 임상 문서의 맥락 이해를 향상시키기 위해 대규모 임상 코퍼스에서 사전 훈련을 수행하였다.
• 임상 및 시간적 개념 인식, 관계 추출, 의료 언어 추론과 같은 공개 벤치마크에서 성능을 평가하였다.
• UCSF 퇴원 요약 자료를 사용하여 진단 코드 할당 및 치료적 클래스 추론이라는 두 가지 후행 작업에서 시스템 내 평가를 수행하였다.
• 공개 및 내부 데이터셋에서 크기가 유사한 최신 생물의학적 언어 모델과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 도메인 특화 어휘를 사용할 경우, 특히 장문의 문서에서 임상 언어 추론 성능이 향상되는가?
• RQ2 대규모 임상 코퍼스에서의 훈련이 문서 인코딩 및 추론 정확도에 어떤 영향을 미치는가?
• RQ3 일반 목적의 임상 언어 모델이 공개 벤치마크와 기관 특화 임상 작업 양쪽에서 기존 모델을 능가할 수 있는가?
• RQ4 현재의 임상 언어 모델에서 주요한 한계는 무엇인지, 특히 번역어 해결과 인과적 추론 측면에서?
• RQ5 내부 도메인 사전 훈련이 진단 코드 부여 및 치료적 클래스 추론과 같은 후행 임상 NLP 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 모델은 표준 공개 벤치마크 작업에서 최고의 공개 가능 생물의학적 언어 모델과 동등한 성능을 기록하였다.
• UCSF 퇴원 요약 자료를 사용한 내부 평가에서 진단 코드 할당 및 치료적 클래스 추론 과제에서 기존 모델을 크게 능가하였다.
• 도메인 특화 어휘의 사용은 장문의 임상 문서의 인코딩을 향상시켜 맥락 이해를 강화하였다.
• 대규모 임상 코퍼스의 활용은 문서 수준의 인코딩 및 추론 정확도를 크게 향상시켰으며, 특히 복잡한 임상 맥락에서 두드러졌다.
• 모델는 번역어 해결, 수치적 추론, 시간적 추론 및 암묵적 인과 추론 분야에서 뚜렷한 한계를 보이며 향후 연구 분야를 시사하였다.
• 결과적으로, 다양한 임상 코퍼스를 대규모로 사용한 내부 도메인 사전 훈련이 고성능 임상 언어 이해를 위해 필수적임을 시사한다.