[논문 리뷰] Toward Understanding Clinical Context of Medication Change Events in Clinical Narratives

Diwakar Mahajan, Jennifer J. Liang외 1명|PubMed|2020. 11. 17.

Machine Learning in Healthcare참고 문헌 26인용 수 15

한 줄 요약

이 논문은 임상 노트 내 약물 변경 이벤트를 Action, Temporality, Certainty, Actor의 네 가지 수직적 차원에서 애너테이션한 9,013건의 항목을 포함하는 Contextualized Medication Event Dataset (CMED)를 소개한다. 새로운 개념적 프레임워크를 통해 약물 재확인 및 타임라인 생성과 같은 임상 응용 분야에서 개선된 맥락 이해를 가능하게 하며, 특징 엔지니어링을 통한 SVM를 사용할 경우 이벤트 분류의 기준 F1 스코어는 최대 0.88, Actor 예측의 기준 F1 스코어는 0.96에 이를 수 있다.

ABSTRACT

Understanding medication events in clinical narratives is essential to achieving a complete picture of a patient's medication history. While prior research has explored identification of medication changes in clinical notes, due to the longitudinal and narrative nature of clinical documentation, extraction of medication change alone without the necessary clinical context is insufficient for use in real-world applications, such as medication timeline generation and medication reconciliation. Here, we present a framework to capture multi-dimensional context of medication changes documented in clinical notes. We define specific contextual aspects pertinent to medication change events (i.e. Action, Negation, Temporality, Certainty, and Actor), describe the annotation process and challenges encountered while creating the dataset, and explore models based on state-of-the-art transformers to automate the task. The resulting dataset, Contextualized Medication Event Dataset (CMED), consisting of 9,013 medications annotated over 500 clinical notes, will be released to the community as a shared task in 2021-2022.

연구 동기 및 목표

• 기존의 약물 이벤트 분류 연구에서 부족했던 종합적인 임상 맥락을 보완하고, 약물 재확인 및 타임라인 생성과 같은 실제 응용 분야에 기여하기 위해.
• 비정형 임상 서술문에서 약물 변경 이벤트의 전체 임상 맥락을 구조화하고 다차원적으로 포괄하는 프레임워크를 개발하기 위해.
• 공동 연구 커뮤니티에서 접근 가능한 고품질의 데이터셋(CMED)을 제작하고 공개하여 공유 과제를 지원하고 임상 NLP 분야의 연구를 촉진하기 위해.
• 다양한 언어적 및 맥락적 특징을 사용한 기준 실험을 통해 맥락 기반 약물 이벤트 분류의 가능성을 입증하기 위해.

제안 방법

• 저자들은 약물 변경 맥락을 Action(예: Start, Stop, Increase), Temporality(과거, 현재, 미래), Certainty(확실, 가정적, 조건부), Actor(의사, 환자)의 네 가지 수직적 차원으로 정리하는 개념적 프레임워크를 개발하였다.
• 의사가 리더십을 맡은 3명의 애너테이터 팀이 i2b2/UTHealth 2014 NLP 공유 과제의 500건의 임상 노트를 애너테이션하였으며, 상호 애너테이터 일致도 평가에는 120건의 노트를 사용하였다(Cohen’s kappa).
• 데이터셋인 CMED는 500건의 노트에 걸쳐 총 9,013건의 약물 언급을 포함하며, 훈련 세트는 7,230건, 테스트 세트는 1,783건으로 구성되어 있으며, 2021년 공유 과제로 제공되었다.
• 다섯 단계의 분류 파이프라인을 사용하였다: (1) 각 언급을 Disposition, NoDisposition, 또는 Undetermined로 분류; (2)–(5) Disposition 이벤트를 네 가지 맥락 차원에 따라 분류.
• 선형 커널을 사용한 특징 기반 SVM 모델을 훈련하였으며, 여섯 가지 특징 클래스를 사용: n-gram, 어휘-구문적(POS, lemma), 윈도우 기반, 의존성 파싱, 노트 섹션, RxNorm 식별자.
• 클래스 불균형 문제를 해결하기 위해 클래스 가중치를 조정하였으며, 특징의 영향을 평가하기 위해 특징 추출을 단계별로 제거(ablation)하여 각 분류 하위 작업에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 비정형 서술문 내 약물 변경 이벤트를 단순 분류를 넘어서 체계적으로 어떻게 맥락화할 수 있는가?
• RQ2 약물 이벤트의 Action, Temporality, Certainty, Actor 차원을 예측하는 데 가장 유용한 특징은 무엇인가?
• RQ3 약물 언급의 위치가 임상 노트 내에서 어떤 섹션에 속해 있는지(예: HPI 대비 PMH)가 Temporality 및 Actor 분류 성능에 얼마나 기여하는가?
• RQ4 RxNorm 식별자 및 의존성 파싱의 포함 여부가 약물 이벤트 맥락 모델링에 어떤 영향을 미치는가?
• RQ5 기계 학습 모델이 이 다차원, 다중 클래스 분류 과제에서 기준 성능는 얼마인가?

주요 결과

• 기준 SVM 모델은 이벤트 분류 과제(Disposition 대비 NoDisposition 및 Undetermined)에서 F1 스코어 0.88를 기록하였으며, 노트 섹션 및 윈도우 특징이 가장 큰 영향을 미쳤다.
• Actor 분류 하위 과제에서는 F1 스코어 0.96를 기록하여 의사 또는 환자가 약물 변경을 시작했는지 식별하는 데 뛰어난 성능를 보였다.
• Temporality 차원은 F1 스코어 0.85를 기록하였으며, 노트 섹션 특징이 섹션 맥락(예: HPI 대비 PMH)을 활용함으로써 성능 향상에 크게 기여하였다.
• Certainty 차원은 F1 스코어 0.92로 가장 높았으며, 가능성에 대한 언어적 신호(예: 'if', 'may')가 확실성 수준을 예측하는 데 매우 예측력이 있음을 시사하였다.
• Action 차원은 F1 스코어 0.67를 기록하였으며, 윈도우 및 어휘-구문적 특징이 증가, 감소, 기타 변화를 구분하는 데 가장 효과적이었다.
• 특징 추출 분석 결과, 다양한 특징 유형이 각 차원에 따라 다른 영향을 미치는 것으로 나타나, 각 차원에 맞는 특징 선택 전략이 필요함을 시사하였다.