[논문 리뷰] Concept Extraction to Identify Adverse Drug Reactions in Medical Forums: A Comparison of Algorithms

Alejandro Metke‐Jimenez, Sarvnaz Karimi|arXiv (Cornell University)|2015. 04. 27.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology참고 문헌 38인용 수 19

한 줄 요약

이 연구는 환자 생성 의료 포럼 텍스트에서 약물 부작용(AcDR)과 약물을 식별하기 위해 사전 기반 접근법에서부터 새로운 CRF 기반 기계학습 모델에 이르기까지 다양한 개념 추출 방법을 평가한다. 제안된 Ontoserver 정규화를 적용한 CRF 방법은 MetaMap 및 기타 기법들보다 뚜렷이 뛰어난 성능을 보였으며, 특히 자원이 제한된 환경에서 정밀도와 F1 스코어 측면에서 뛰어난 성능을 보였다. Cadec 코퍼스에서의 평가 결과, 높은 정밀도와 F1 스코어를 확보하였다.

ABSTRACT

Social media is becoming an increasingly important source of information to complement traditional pharmacovigilance methods. In order to identify signals of potential adverse drug reactions, it is necessary to first identify medical concepts in the social media text. Most of the existing studies use dictionary-based methods which are not evaluated independently from the overall signal detection task. We compare different approaches to automatically identify and normalise medical concepts in consumer reviews in medical forums. Specifically, we implement several dictionary-based methods popular in the relevant literature, as well as a method we suggest based on a state-of-the-art machine learning method for entity recognition. MetaMap, a popular biomedical concept extraction tool, is used as a baseline. Our evaluations were performed in a controlled setting on a common corpus which is a collection of medical forum posts annotated with concepts and linked to controlled vocabularies such as MedDRA and SNOMED CT. To our knowledge, our study is the first to systematically examine the effect of popular concept extraction methods in the area of signal detection for adverse reactions. We show that the choice of algorithm or controlled vocabulary has a significant impact on concept extraction, which will impact the overall signal detection process. We also show that our proposed machine learning approach significantly outperforms all the other methods in identification of both adverse reactions and drugs, even when trained with a relatively small set of annotated text.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 약물 부작용(ADR) 검출을 위한 개념 추출 방법을 체계적으로 평가하고 비교하는 것.
• 알고리즘 선택 및 제어된 어휘(예: MedDRA, SNOMED CT, CHV)가 ADR 신호 검출 성능에 미치는 영향을 평가하는 것.
• 통제된 골드 표준 환경에서 기존의 사전 기반 및 MetaMap 방법과 비교하여 새로운 CRF 기반 기계학습 접근법의 효과성을 평가하는 것.
• 향후 환자 포럼에서의 ADR 마이닝 연구를 위한 기준을 제공하기 위해 Cadec 코퍼스를 활용한 벤치마크를 제공하는 것.

제안 방법

• 이 연구는 UMLS, AMT, CHV를 사용한 사전 기반 방법, MetaMap, 그리고 소량의 주석이 달린 데이터셋으로 훈련된 CRF 기반 모델을 포함한 여러 개념 추출 기법을 구현하고 비교한다.
• 개념 정규화는 Ontoserver, UMLS, AMT, CHV를 사용하여 수행되며, 결과는 Cadec 코퍼스의 골드 표준 주석과 비교하여 평가된다.
• 엄격한 스파니 매칭, 유연한 매칭(중첩 기반), 의미 거리 인식 정규화 평가를 포함한 다단계 평가 프레임워크가 사용된다.
• 성능 차이를 평가하기 위해 통계적 유의성 검정이 적용되며, 특히 F1, 정밀도, 재현율에 중점을 둔다.
• CRF 모델은 텍스트 스팬과 주변 맥락의 특징을 사용하며, 정규화 결정은 온톨로지 구조에 기반한다.
• 평가 지표로는 정확한 스팬 매칭, 부분 중첩(유연한 매칭), 정규화 정확도 평가를 위한 의미 유사도가 포함된다.

실험 결과

연구 질문

• RQ1 다양한 개념 추출 알고리즘이 환자 포럼 텍스트에서 약물 부작용과 약물을 식별하는 데 어떻게 성능을 내는가?
• RQ2 제어된 어휘 선택(예: MedDRA, SNOMED CT, CHV)이 개념 추출 성능에 어떤 영향을 미치는가?
• RQ3 기계학습 기반 접근법(CRF)이 기존의 사전 기반 방법과 MetaMap보다 ADR 개념 추출에서 뛰어나게 성능을 내는가?
• RQ4 엄격한, 유연한, 의미 거리 기반 평가 전략이 개념 추출 시스템의 성능 인식에 어떻게 영향을 미치는가?

주요 결과

• Ontoserver 정규화를 적용한 CRF 기반 모델은 개념 식별에서 F1 스코어 0.867을 기록하여 MetaMap(F1 = 0.814) 및 모든 사전 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• CRF 모델은 정밀도 0.988과 재현율 0.773을 기록하여 훈련 데이터가 제한된 환경에서도 뛰어난 성능을 보였다.
• CHV 또는 UMLS를 사용한 사전 기반 방법은 성능이 열악했으며, 일부 설정에서 F1 스코어가 0.000으로 나타나, 소음이 많고 비공식적인 텍스트에서 사전 기반 접근법의 한계를 드러냈다.
• MetaMap은 전반적으로 성능이 열악했으며, 모든 작업에서 F1 스코어 0.814를 기록했고, 대소문자 구분 및 철자 변형으로 인해 많은 약물 및 ADR 언급을 식별하지 못했다.
• 유연한 매칭 기준은 너무 관대하여 단일 토큰 중첩만으로도 매칭으로 간주되어, 임계값 기반의 중첩 메트릭이 필요함을 시사했다.
• 본 연구는 현재 방법이 모든 오류를 완전한 실패로 간주하는 데 반해, 온톨로지 내 부모-자식 관계와 같은 의미 거리를 고려함으로써 개념 정규화 성능을 향상시킬 수 있음을 입증했다.