[논문 리뷰] Automagically encoding Adverse Drug Reactions in MedDRA

Carlo Combi, Riccardo Lora외 3명|arXiv (Cornell University)|2015. 06. 26.

Biomedical Text Mining and Ontologies참고 문헌 20인용 수 7

한 줄 요약

이 논문은 자유형 텍스트로 작성된 약물 부작용(ADE) 기술을 표준화된 MedDRA 용어로 자동으로 인코딩하는 NLP 기반 시스템인 MagiCoder를 제시한다. 이는 수작업 인코딩 노력을 크게 줄인다. 단어 매칭과 의미 유사도를 활용하여 MagiCoder는 높은 재현율로 관련된 MedDRA 용어를 제안함으로써, 약물감시 전문가들이 70,000개의 용어를 수작업으로 검색하는 대신 제안된 용어를 검증할 수 있도록 하여, ADE 보고의 효율성과 일관성을 향상시킨다.

ABSTRACT

Pharmacovigilance is the field of science devoted to the collection, analysis and prevention of Adverse Drug Reactions (ADRs). Efficient strategies for the extraction of information about ADRs from free text resources are essential to support the work of experts, employed in the crucial task of detecting and classifying unexpected pathologies possibly related to drug assumptions. Narrative ADR descriptions may be collected in several way, e.g. by monitoring social networks or through the so called spontaneous reporting, the main method pharmacovigilance adopts in order to identify ADRs. The encoding of free-text ADR descriptions according to MedDRA standard terminology is central for report analysis. It is a complex work, which has to be manually implemented by the pharmacovigilance experts. The manual encoding is expensive (in terms of time). Moreover, a problem about the accuracy of the encoding may occur, since the number of reports is growing up day by day. In this paper, we propose MagiCoder, an efficient Natural Language Processing algorithm able to automatically derive MedDRA terminologies from free-text ADR descriptions. MagiCoder is part of VigiWork, a web application for online ADR reporting and analysis. From a practical view-point, MagiCoder radically reduces the revision time of ADR reports: the pharmacologist has simply to revise and validate the automatic solution versus the hard task of choosing solutions in the 70k terms of MedDRA. This improvement of the expert work efficiency has a meaningful impact on the quality of data analysis. Moreover, our procedure is general purpose. We developed MagiCoder for the Italian pharmacovigilance language, but preliminarily analyses show that it is robust to language and dictionary changes.

연구 동기 및 목표

• ADE 보고서의 수작업 MedDRA 인코딩에 소요되는 시간과 인지 부담을 줄이기 위해.
• 약물감시 시스템 내 ADE 코드화의 일관성과 확장성을 향상시키기 위해.
• 기계가 제안한 MedDRA 용어를 검토할 수 있도록 약물감시 전문가를 지원하기 위해.
• 다양한 언어적 및 용어적 변형에 적용 가능한 언어에 종속되지 않는 NLP 솔루션을 개발하기 위해.
• VigiWork와 같은 자발적 ADE 보고 시스템의 품질과 효율성을 향상시키기 위해.

제안 방법

• MagiCoder는 어휘 매칭과 의미 유사도를 통해 자유형 텍스트 ADE 서술문에서 핵심 의료 용어를 추출한다.
• 사전 기반 접근 방식을 사용하여 자연어 표현을 MedDRA 하위 수준 용어(LLT)에 매핑한다.
• 문장의 문법적 구조에 의존하지 않기 때문에 다양한 문장 구조에 대해 강건한 성능을 발휘한다.
• 동의어 및 유사 동의어 매핑을 활용하여, 비직역적 또는 변형된 표현에 대해서도 재현율을 향상시킨다.
• 실시간 용어 제안을 지원하기 위해 웹 기반 ADE 보고 플랫폼인 VigiWork에 통합된 알고리즘을 적용한다.
• 향후 확장 기능으로는 철자 검사, 否정문 감지, 피드백 루프를 통한 동적 동의어 확장 기능이 포함될 예정이다.

실험 결과

연구 질문

• RQ1 자동화된 NLP 시스템이 고정밀도 및 고재현율로 자유형 텍스트 ADE 기술을 표준화된 MedDRA 용어로 매핑하는 데 효과적인가?
• RQ2 MagiCoder의 성능은 시간 절약과 정확도 측면에서 수작업 인코딩과 비교해 어떻게 되는가?
• RQ3 MagiCoder는 언어적 변형과 사전 변경에 얼마나 강건한가?
• RQ4 MagiCoder는 ADE 서술문에서 否정 또는 오류가 있는 용어를 탐지하고 경고할 수 있는가? 이를 통해 입력 품질을 향상시킬 수 있는가?
• RQ5 자동화된 용어 제안 기능이 약물감시 전문가가 ADE 보고서를 검토하는 워크플로우를 어떻게 향상시킬 수 있는가?

주요 결과

• MagiCoder는 전문가들이 70,000개의 용어를 수작업으로 검색하는 대신 제안된 용어를 검토하고 검증하는 방식을 통해 MedDRA 인코딩에 소요되는 시간을 크게 줄였다.
• 정확한 어휘 매칭이 없더라도 의미적으로 동일하거나 유사한 용어를 식별함으로써 높은 재현율을 달성했다.
• 예시 사례에서 MagiCoder는 'ipotensione'(저혈압)와 'febbre'(발열)와 같은 용어를 정확히 식별했으며, 심지어 심리적 표현인 'piressia'와 같은 동의어를 사용한 리뷰어의 기술에도 불구하고 이를 인식했다.
• 알고리즘은 언어적 변화와 사전 변경에 강건함을 보였으며, 다국어 배포 가능성까지 시사했다.
• 인간 리뷰어가 직접 언급하지 않은 용어, 예를 들어 서술문에서 'Shock anafilattico'를 성공적으로 추출했다.
• 초기 결과에 따르면, 철자 검사 및 否정문 감지 기능을 추가하여 사용성과 정확도를 더욱 향상시킬 수 있을 것으로 보인다.