[논문 리뷰] Extracting Adverse Drug Events from Clinical Notes

Darshini Mahendran, Bridget T. McInnes|PubMed|2021. 04. 21.

Topic Modeling참고 문헌 18인용 수 10

한 줄 요약

이 논문은 임상 노트에서 약물 부작용(ADE) 관계를 추출하기 위한 규칙 기반, 딥러닝 기반, 그리고 문맥 기반 언어 모델 기반 접근법의 비교 연구를 제안한다. n2c2-2018 ADE 데이터셋을 사용하여, BioBERT 기반의 문맥 기반 모델이 F1 스코어 0.94로 최고 성능을 기록했지만, 강력한 공위치 패턴 활용 덕분에 특정 관계 유형(예: Strength-Drug 및 Form-Drug)에서는 규칙 기반 방법이 다른 방법들을 능가했다.

ABSTRACT

Adverse drug events (ADEs) are unexpected incidents caused by the administration of a drug or medication. To identify and extract these events, we require information about not just the drug itself but attributes describing the drug (e.g., strength, dosage), the reason why the drug was initially prescribed, and any adverse reaction to the drug. This paper explores the relationship between a drug and its associated attributes using relation extraction techniques. We explore three approaches: a rule-based approach, a deep learning-based approach, and a contextualized language model-based approach. We evaluate our system on the n2c2-2018 ADE extraction dataset. Our experimental results demonstrate that the contextualized language model-based approach outperformed other models overall and obtain the state-of-the-art performance in ADE extraction with a Precision of 0.93, Recall of 0.96, and an F₁ score of 0.94; however, for certain relation types, the rule-based approach obtained a higher Precision and Recall than either learning approach.

연구 동기 및 목표

• 비구조화된 임상 노트에서 자동으로 약물 부작용(ADE)을 추출하는 데 도전하는 것. 이는 환자 안전 향상과 비용 절감에 핵심적이다.
• 다양한 관계 추출(RE) 기법—규칙 기반, 딥러닝, 문맥 기반 언어 모델—의 효과성을 조사하여 약물-ADE 관계를 식별하는 것.
• 특히 복용량, 강도, 투여 경로, 부작용과 같은 속성에 대해 관계 유형 간 성능을 비교하는 것.
• 단순함에도 불구하고 학습 기반 모델보다 규칙 기반 시스템이 성능을 뛰어넘는 상황을 규명하는 것.
• 임상 NLP 분야에서 향후 다중 클래스 및 동시 엔티티-관계 모델링을 위한 기반을 마련하는 것.

제안 방법

• 규칙 기반 접근법은 약물과 속성 엔티티 간의 공위치 패턴(예: '500mg'이 '아스피린' 근처에 존재)을 활용하여 학습 없이도 관계를 유추한다.
• 딥러닝 모델은 문장 수준의 표현에서 약물-속성 쌍 간의 관계를 분류하기 위해 컨volutional 신경망(CNNs)을 사용한다.
• 문맥 기반 언어 모델 기반 접근법은 BioBERT를 활용하여 약물 엔티티 쌍을 포함하는 전체 문장을 인코딩하여 관계 분류를 위한 의미적 맥락을 포착한다.
• 각 관계 유형(예: Strength-Drug, ADE-Drug)은 별도의 이진 분류기로 모델링되어 일반화 성능 향상과 클래스 불균형 문제 완화를 도모한다.
• 모델들은 n2c2-2018 ADE 추출 데이터셋에서 미세조정되며, 이 데이터셋에는 1,000개의 애너테이션된 임상 노트와 11,000개의 관계 인스턴스가 포함되어 있다.
• 성능 평가는 표준 NLP 메트릭(정밀도, 재현도, F1 스코어)을 사용하며, 관계 유형별 및 총괄 분석을 실시한다.

실험 결과

연구 질문

• RQ1 규칙 기반, 딥러닝, 문맥 기반 언어 모델 접근법은 임상 노트에서 ADE 관련 관계를 추출할 때 어떻게 비교되는가?
• RQ2 어떤 관계 유형에서 규칙 기반 접근법이 학습 기반 모델을 능가하는가? 그 이유는 무엇인가?
• RQ3 BioBERT와 같은 문맥 기반 언어 모델이 n2c2-2018 벤치마크에서 ADE 관계 추출에서 최고 성능을 달성할 수 있는가?
• RQ4 복수의 약물-엔티티 쌍을 포함한 임상 텍스트에서 위치 정보와 의미적 표현은 관계 분류에 어떤 영향을 미치는가?
• RQ5 모델 아키텍처 선택(예: 이진 분류 대 다중 클래스 분류)은 자원이 제한된 관계 유형에서 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• BioBERT 기반의 문맥 기반 언어 모델은 n2c2-2018 데이터셋에서 전체적으로 F1 스코어 0.94를 기록했으며, 정밀도 0.93, 재현도 0.96를 기록하여 최고 성능을 달성했다.
• ADE-Drug 관계 유형에서 규칙 기반 모델은 정밀도 0.88, 재현도 0.90를 기록했으며, BioBERT 모델의 F1 스코어 0.97과는 달리 정밀도와 재현도에서 열등했다.
• Form-Drug 관계 유형에서 규칙 기반 접근법은 F1 스코어 0.95를 기록하여 BioBERT 모델의 0.94를 초월했으며, 일관된 공위치 패턴 활용으로 인한 뛰어난 성능을 보였다.
• BioBERT 모델은 Strength-Drug(0.94), Duration-Drug(0.93), Frequency-Drug(0.94)를 포함한 총 8개 관계 유형 중 6개에서 가장 높은 F1 스코어를 기록했다.
• UTH 팀의 공동 biLSTM+CRF 모델은 F1 스코어 0.96을 기록했지만, BioBERT 모델은 모든 팀 중 유일하게 하나를 제외한 모든 팀보다 높은 재현도(0.96)를 기록하여 ADE 탐지에 대해 더 높은 민감도를 보였다.
• 엔티티를 의미적 유형으로 대체하는 것(Wei 등의 방식)은 원본 엔티티 스팬을 사용할 때보다 성능이 떨어졌으며, 이는 엔티티 정체성을 유지할수록 관계 모델링 성능 향상에 기여함을 시사한다.