[논문 리뷰] Automated Detection of Adverse Drug Reactions in the Biomedical Literature Using Convolutional Neural Networks and Biomedical Word Embeddings

Diego Saldana Miranda|arXiv (Cornell University)|2018. 04. 24.

Pharmacovigilance and Adverse Drug Reactions인용 수 8

한 줄 요약

이 논문은 생물의학적 단어 임bedding을 갖춘 컨볼루션 신경망(CNN) 모델을 제안하여 생물의학 문헌 내 약물 부작용(ADR) 관련 문장을 자동으로 탐지한다. ADE 코퍼스를 사용하여, ADR 문장의 중복 제거와 생물의학적 임베딩이 분류 성능을 크게 향상시킴을 입증한다. 허인 허니아 아키텍처가 모든 지표에서 이전 모델을 능가하며, F1 스코어 0.798과 AUROC 0.958를 기록한다.

ABSTRACT

Monitoring the biomedical literature for cases of Adverse Drug Reactions (ADRs) is a critically important and time consuming task in pharmacovigilance. The development of computer assisted approaches to aid this process in different forms has been the subject of many recent works. One particular area that has shown promise is the use of Deep Neural Networks, in particular, Convolutional Neural Networks (CNNs), for the detection of ADR relevant sentences. Using token-level convolutions and general purpose word embeddings, this architecture has shown good performance relative to more traditional models as well as Long Short Term Memory (LSTM) models. In this work, we evaluate and compare two different CNN architectures using the ADE corpus. In addition, we show that by de-duplicating the ADR relevant sentences, we can greatly reduce overoptimism in the classification results. Finally, we evaluate the use of word embeddings specifically developed for biomedical text and show that they lead to a better performance in this task.

연구 동기 및 목표

• 생물의학 문헌 내 ADR 관련 문장을 자동으로 탐지하기 위한 딥 러닝 모델의 개발 및 평가.
• ADR 분류에서 과도하게 낙관적인 성능 추정을 줄이기 위해 문장 중복 제거의 영향을 조사.
• 일반 목적 단어 임베딩(GloVe)과 생물의학 전용 단어 임베딩(Pyysalo et al.)의 성능을 비교하여 ADR 탐지에서의 효과성 평가.
• ADE 코퍼스에서 두 가지 다른 CNN 아키텍처—허인의 모델과 히ュ즈의 모델—을 평가하고 비교하여 ADR 관련성 분류 성능을 평가.
• 약물 감시 워크플로우에서 약물 연구 분야의 신뢰성과 실용성을 향상시키기 위한 ADR 탐지 시스템의 개선.

제안 방법

• 문장 수준의 ADR 관련성 분류를 위해 토큰 수준의 컨볼루션을 사용한 두 가지 CNN 아키텍처—허인의 모델과 히ュ즈의 모델—를 적용.
• 평가 시 과적합과 낙관적인 성능 추정을 줄이기 위해 ADR 관련 문장의 중복 제거를 적용.
• 사전 학습된 단어 임베딩으로, 일반 목적용 GloVe 840B와 생물의학 전용 임베딩(Pyysalo et al.)을 사용하여 도메인 관련 의미를 포착.
• 20,960개의 MEDLINE 문장(ADR 관련 4,272개, 비-ADR 관련 16,688개)으로 구성된 ADE 코퍼스를 사용하여 모델을 훈련하고 평가. 전문가가 주석을 붙인 데이터셋.
• 정확도, 정밀도, 재현도, F1 스코어, 특이도, AUROC와 같은 표준 NLP 지표를 사용하여 모델 성능 평가.
• 중복 제거 여부와 다른 임베딩 유형을 사용한 모델 간의 아블레이션 스터디를 수행하여 성능 영향을 분리 분석.

실험 결과

연구 질문

• RQ1 ADE 코퍼스 내 ADR 관련 문장의 중복 제거가 ADR 분류에서 더 현실적이고 신뢰할 수 있는 성능 추정으로 이어지는가?
• RQ2 생물의학 전용 단어 임베딩(Pyyalo et al.)은 일반 목적 임베딩(GloVe)보다 ADR 탐지 성능을 향상시킬 수 있는가?
• RQ3 평가된 두 CNN 아키텍처 중에서 허인의 아키텍처와 히ュ즈의 아키텍처 중 어느 것이 ADE 코퍼스에서 ADR 관련 문장 탐지에 더 뛰어난 성능을 보이는가?
• RQ4 도메인 특화 임베딩과 중복 제거를 통해 ADR 분류 모델의 과적합이 어느 정도 감소하고 일반화 능력이 향상되는가?
• RQ5 ADE 코퍼스 내 평가자 간 불일치가 모델 성능의 상한선에 어떤 영향을 미치며, 이는 모델 설계에 어떤 함의를 갖는가?

주요 결과

• ADR 관련 문장의 중복 제거는 성능 평가에서의 낙관적 성향을 크게 감소시켜 더 현실적이고 신뢰할 수 있는 모델 평가를 가능하게 했다.
• 생물의학 전용 단어 임베딩(Pyysalo et al.)의 사용은 모든 지표에서 성능 향상을 이끌었으며, 평균 정밀도(0.800 vs. 0.780)와 F1 스코어(0.798 vs. 0.790)에서 가장 큰 향상을 보였다.
• 허인 아키텍처는 모든 지표에서 히ュ즈 아키텍처를 능가했으며, F1 스코어 0.798, AUROC 0.958, 특이도 0.949를 기록했다.
• AUROC는 GloVe 사용 시 0.954에서 생물의학 임베딩 사용 시 0.958로 상승하여 ADR 문장과 비-ADR 문장 간의 구분 능력 향상을 시사했다.
• 높은 평가자 간 일치도(F1 0.77–0.80)에도 불구하고 인간 주석의 본질적 모호성은 근접한 완벽한 성능을 달성할 수 있는 모델의 잠재력을 제한한다.
• 중복 제거, 생물의학 임베딩, 허인 CNN 아키텍처의 조합이 가장 뛰어난 종합 성능을 달성하여 향후 ADR 탐지 시스템의 강력한 기준이 될 것으로 보인다.