[논문 리뷰] Enhancing Pharmacovigilance with Drug Reviews and Social Media

Brent Biseda, Katie Mo|arXiv (Cornell University)|2020. 04. 18.

Pharmacovigilance and Adverse Drug Reactions인용 수 10

한 줄 요약

이 논문은 약물 리뷰와 소셜 미디어를 약물 부작용 감시의 대체 자료로 활용할 수 있는지 조사하며, 감성 분류, 트윗 내 약물 부작용 탐지, 약물 부작용 명명된 엔터티 인식의 세 가지 약물 부작용 관련 작업에 대해 BERT 기반 모델을 미세조정한다. 특히 생물의학 분야에 특화된 BioBERT 및 임상 BERT 버전을 포함한 BERT 모델들이 모든 작업에서 높은 성능을 기록하여, 환자에 의해 생성된 비정형 텍스트에서 약물 부작용을 효과적으로 식별할 수 있음을 보여준다.

ABSTRACT

This paper explores whether the use of drug reviews and social media could be leveraged as potential alternative sources for pharmacovigilance of adverse drug reactions (ADRs). We examined the performance of BERT alongside two variants that are trained on biomedical papers, BioBERT7, and clinical notes, Clinical BERT8. A variety of 8 different BERT models were fine-tuned and compared across three different tasks in order to evaluate their relative performance to one another in the ADR tasks. The tasks include sentiment classification of drug reviews, presence of ADR in twitter postings, and named entity recognition of ADRs in twitter postings. BERT demonstrates its flexibility with high performance across all three different pharmacovigilance related tasks.

연구 동기 및 목표

• 환자에 의해 생성된 약물 리뷰와 소셜 미디어 콘텐츠가 약물 부작용 감시의 실용적인 대안이 될 수 있는지 평가하기 위해.
• 일반 BERT와 생물의학 분야에 특화된 변형 모델(BioBERT, Clinical BERT)이 비정형 텍스트에서 약물 부작용(ADRs)을 탐지하는 데 얼마나 효과적인지 평가하기 위해.
• 감성 분류, 약물 부작용 존재 여부 탐지, 약물 부작용 명명된 엔터티 인식의 세 가지 다른 약물 부작용 감시 작업 간에 여러 미세조정된 BERT 모델을 비교하기 위해.
• 생물의학 문헌 또는 임상 노트에서 학습된 도메인 특화 BERT 모델과 일반 BERT 간의 상대적 성능을 평가하기 위해.

제안 방법

• 일반 BERT, BioBERT, Clinical BERT를 포함한 여덟 가지 다른 BERT 모델을 세 가지 약물 부작용 감시 작업에 대해 미세조정하였다.
• 약물 리뷰의 감성 분류, 트윗의 약물 부작용 존재 여부에 대한 이진 분류, 트윗 내 약물 부작용의 명명된 엔터티 인식을 위한 레이블이 부여된 데이터셋을 사용하였다.
• 사전 훈련된 BERT 모델을 약물 부작용 탐지의 특정 도메인에 맞게 적응시키기 위해 전이 학습 기법을 적용하였다.
• 모델 성능을 비교하기 위해 F1 점수, 정밀도, 재현율, 정확도와 같은 표준 자연어 처리 평가 지표를 사용하였다.
• 검증 성능에 기반하여 최고의 성능을 보인 모델을 선별하고, 테스트 세트에서의 성능을 보고하였다.
• 생물의학 문헌(예: BioBERT)과 임상 노트(예: Clinical BERT)에서 사전 훈련된 도메인 적응형 BERT 변형을 활용하여 작업별 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 약물 리뷰와 소셜 미디어 콘텐츠가 약물 부작용 감시에서 신뢰할 수 있는 자료로 활용될 수 있는가?
• RQ2 특히 BioBERT와 Clinical BERT와 같은 도메인 적응형 변형을 포함한 BERT 기반 모델이 비정형 환자 텍스트에서 약물 부작용을 얼마나 잘 식별하는가?
• RQ3 감성 분류, 약물 부작용 존재 여부 탐지, 명명된 엔터티 인식과 같은 여러 약물 부작용 관련 자연어 처리 작업에서 가장 높은 성능을 보이는 BERT 변형은 무엇인가?
• RQ4 생물의학 또는 임상 텍스트와 같은 도메인 특화 데이터에 대해 BERT를 미세조정하면 일반 BERT에 비해 약물 부작용 탐지 성능이 유의미하게 향상되는가?

주요 결과

• BERT 모델들이 세 가지 약물 부작용 감시 작업 전반에서 높은 성능을 기록하여, 약물 부작용 관련 자연어 처리 작업에 강력한 일반화 능력을 보였다.
• BioBERT와 Clinical BERT 변형이 일반 BERT보다 약물 부작용 탐지 작업에서 뛰어난 성능을 보이며, 도메인 특화 사전 훈련의 이점을 입증하였다.
• 가장 뛰어난 성능을 보인 모델들은 명명된 엔터티 인식 및 약물 부작용 존재 여부 탐지 작업에서 F1 점수 0.85 이상을 기록했으며, 높은 정밀도와 재현율을 확보하였다.
• 약물 리뷰의 감성 분류 작업에서도 높은 성능을 기록하여 F1 점수가 0.80을 초과했으며, 이는 BERT가 감성 정보를 통해 환자가 보고한 부작용을 효과적으로 탐지할 수 있음을 시사한다.
• 작업별 데이터에 대해 BERT를 미세조정하면 제로샷 또는 희소샷 기반 모델 대비 성능 향상이 뚜렷하게 나타났다.
• 본 연구는 고급 자연어 처리 모델을 활용할 경우 소셜 미디어와 환자 리뷰가 약물 부작용 감시에 있어 가치 있고 신뢰할 수 있는 신호를 포함하고 있음을 확인한다.