[논문 리뷰] MedMine: Examining Pre-trained Language Models on Medication Mining

Haifa Alrdahi, Lifeng Han외 2명|arXiv (Cornell University)|2023. 08. 07.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 n2c2-2018 공동 과제 데이터를 사용하여 임상 텍스트에서 약물 추출을 평가하기 위한 프레임워크인 MedMine을 소개한다. Med7 및 XLM-RoBERTa라는 미세튜닝된 사전 훈련된 언어 모델을 대상으로 하며, XLM-RoBERTa가 Med7+보다 유의미하게 높은 정확도(96.76%)를 기록함을 입증한다. 이는 임상 엔티티 추출 작업에서 다국어 기반 BERT 모델이 도메인 특화, GloVe 기반 모델보다 우월함을 시사한다.

ABSTRACT

Automatic medication mining from clinical and biomedical text has become a popular topic due to its real impact on healthcare applications and the recent development of powerful language models (LMs). However, fully-automatic extraction models still face obstacles to be overcome such that they can be deployed directly into clinical practice for better impacts. Such obstacles include their imbalanced performances on different entity types and clinical events. In this work, we examine current state-of-the-art pre-trained language models (PLMs) on such tasks, via fine-tuning including the monolingual model Med7 and multilingual large language model (LLM) XLM-RoBERTa. We compare their advantages and drawbacks using historical medication mining shared task data sets from n2c2-2018 challenges. We report the findings we get from these fine-tuning experiments such that they can facilitate future research on addressing them, for instance, how to combine their outputs, merge such models, or improve their overall accuracy by ensemble learning and data augmentation. MedMine is part of the M3 Initiative \url{https://github.com/HECTA-UoM/M3}

연구 동기 및 목표

• 임상 텍스트에서 약물 추출을 위한 최신 기술의 사전 훈련된 언어 모델(PLM) 평가, 특히 엔티티 및 이벤트 추출에 중점을 둔다.
• 학습 데이터에서 미흡하게 표현되는 약물, 복용량, 지속 기간, 약물 부작용(ADE) 등의 엔티티 유형 간 성능 불균형 문제를 해결한다.
• 모델 융합 및 앙상블 학습 전략을 탐색하기 위해 Med7+ 및 Clinical-XLM-R 출력을 비교함으로써 전체 추출 정확도 향상을 도모한다.
• 미래의 저자원 임상 NLP 연구를 위한 M3 이니셔티브의 일환으로, 오픈소스이자 확장 가능한 툴킷인 MedMine 개발
• 약물 추출에서 희귀 레이블 예측 향상을 위해 데이터 증강 및 프롬프트 기반 학습의 영향을 조사한다.

제안 방법

• n2c2-2018 데이터를 사용하여 SpaCy와 GloVe 임베딩을 활용해 단일 언어 임상 모델인 Med7를 미세튜닝하여 9개의 약물 관련 레이블에 대한 명명된 엔티티 인식(NER)을 수행한다.
• 동일한 n2c2-2018 데이터셋을 기반으로 다국어 XLM-RoBERTa-base 모델을 미세튜닝하며, 100개 언어에서 사전 훈련된 점을 활용해 임상 NLP에서의 일반화 능력을 향상시킨다.
• 512 토큰을 초과하는 시퀀스 처리를 위해 문서 청킹 기법을 적용하여 장문의 임상 노트를 512토큰 세그먼트로 분할하나, 일부 문맥 정보 손실이 발생할 수 있음.
• 모델 성능을 레이블 유형 간 비교하기 위해 마이크로, 마크로, 가중 평균 수준에서 정밀도, 재현율, F1 점수를 기준으로 표준 NER 평가 지표를 사용한다.
• 서로 다른 강점을 분석하여 모델 조합 전략을 탐색: Med7+는 높은 정밀도를 보였고, Clinical-XLM-R는 대부분의 레이블에서 높은 재현율을 기록함.
• 미래 계획: GPT 기반 모델 및 프롬프트 기반 학습(PBL)을 수동 및 소프트 템플릿을 활용해 시간적 및 관계 기반 약물 모델링에 통합할 계획이다.

실험 결과

연구 질문

• RQ1 미세튜닝된 Med7 및 XLM-RoBERTa 모델은 임상 텍스트에서 약물 엔티티 및 이벤트 추출 성능에서 어떻게 비교되는가?
• RQ2 현재 PLM 기반 약물 추출 시스템에서 약물, 복용량, 지속 기간, ADE 등의 레이블 유형 간 주요 성능 불균형은 무엇인가?
• RQ3 Med7+ 및 Clinical-XLM-R 출력을 융합함으로써 앙상블 학습 또는 모델 융합을 통해 전체 F1 점수 향상을 달성할 수 있는가?
• RQ4 Med7가 임상 데이터에서 사전 훈련되었음에도 불구하고, XLM-RoBERTa의 다국어 사전 훈련이 Med7의 도메인 특화 미세튜닝보다 우수한 성능을 내는가?
• RQ5 데이터 증강 또는 프롬프트 기반 학습은 약물 추출에서 희귀 레이블 문제를 어느 정도 완화할 수 있는가?

주요 결과

• XLM-RoBERTa가 n2c2-2018 테스트 세트에서 Med7+보다 유의미하게 높은 전체 정확도 96.76%를 기록한 반면, Med7+는 81.87%를 기록하였다.
• Med7+는 원래 Med7 모델보다 모든 7개의 공동 레이블에서 성능 향상을 보였으며, 마이크로 평균 F1은 0.9244 vs. 0.7400, 마크로 평균 F1은 0.9045 vs. 0.7200, 가중 평균 F1은 0.9247 vs. 0.7700을 기록하였다.
• Med7+는 대부분의 레이블에서 정밀도가 재현율보다 높았고, Clinical-XLM-R는 높은 재현율을 보여 두 모델 간 상호 보완적인 강점이 있음을 시사한다.
• ‘경로(route)’ 레이블은 Med7+가 Med7보다 성능 향상이 미미했으며(F1: 0.96 vs. 0.96) 이 카테고리에서 향상 여지가 적음을 시사한다.
• 희귀 레이블인 ‘지속 기간(duration)’(139건) 및 ‘ADE’(242건)는 유의미하게 낮은 성능를 보였으며, 이는 데이터 증강 또는 합성 데이터 생성이 필요함을 시사한다.
• Med7+와 Clinical-XLM-R 간 성능 격차는 다국어 사전 훈련 또는 BERT 기반 표현 방식이 도메인 특화 미세튜닝과 비록 GloVe 임베딩을 사용하더라도 임상 NLP 작업에서 우월할 수 있음을 시사한다.