[논문 리뷰] Detecting Adverse Drug Reactions from Twitter through Domain-Specific Preprocessing and BERT Ensembling

Amy Breden, Lee E. Moore|arXiv (Cornell University)|2020. 05. 11.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 도메인 특화 전처리를 적용한 BERT 기반 앙상블 모델을 제안하여 트위터에서의 약물 부작용(ADR) 탐지 성능을 향상시킨다. BERT LARGE, BioBERT, ClinicalBERT를 미세조정하고, 약물 정규화를 포함한 고유한 전처리기(전처리기)를 적용하며, 최대 예측 앙상블 전략을 사용함으로써, SMM4H 2019 대회에서 가장 높은 F1 점수(0.6681)와 재현율(0.7700)을 기록하여, 모든 공식 참가 및 평가 후 추가 기여자들을 초월한다.

ABSTRACT

The automation of adverse drug reaction (ADR) detection in social media would revolutionize the practice of pharmacovigilance, supporting drug regulators, the pharmaceutical industry and the general public in ensuring the safety of the drugs prescribed in daily practice. Following from the published proceedings of the Social Media Mining for Health (SMM4H) Applications Workshop & Shared Task in August 2019, we aimed to develop a deep learning model to classify ADRs within Twitter tweets that contain drug mentions. Our approach involved fine-tuning $BERT_{LARGE}$ and two domain-specific BERT implementations, $BioBERT$ and $Bio + clinicalBERT$, applying a domain-specific preprocessor, and developing a max-prediction ensembling approach. Our final model resulted in state-of-the-art performance on both $F_1$-score (0.6681) and recall (0.7700) outperforming all models submitted in SMM4H 2019 and during post-evaluation to date.

연구 동기 및 목표

• 소셜 미디어, 특히 ADR 언급이 드물고 비공식적 언어로 표현되는 트위터에서 약물 부작용(ADR) 탐지 성능을 향상시키기 위해.
• 공중보건적 가치를 감안해 진짜 ADR를 모두 식별하는 것이 중요하므로, 정밀도보다 재현율을 우선시하는 도전 과제를 해결하기 위해.
• 특히 약물 이름 정규화를 포함한 도메인 특화 전처리와 여러 BERT 변종을 앙상블함으로써 모델 성능을 향상시키기 위해.
• 최신 BERT 모델을 사용하더라도 단순한 전처리 기법이 성능 향상에 크게 기여할 수 있음을 입증하기 위해.
• 실시간 약물 감시를 위한 강력하고 높은 재현율을 갖춘 솔루션을 제공하기 위해.

제안 방법

• BERT 기반 모델 3종을 미세조정: BERT LARGE(소문자 미처리), BioBERT(의료 문헌 코퍼스로 사전학습), ClinicalBERT(BioBERT를 임상 기록에서 미세조정하여 얻음).
• URL 익명화, 특수문자 제거, 해시태그 제거, 소문자 변환, 약물 브랜드명을 일반명으로 정규화하는 도메인 특화 전처리기 적용.
• 각 모델을 훈련하기 위해 5겹 교차검증 전략과 조기 정지, 학습률 스케줄링을 사용.
• 각 BERT 변종에 대해 5개의 독립적으로 훈련된 모델을 평균화하는 앙상블 전략을 적용한 후, 세 가지 모델 유형 간 최대 예측 앙성블을 통해 재현율을 극대화.
• 과적합 방지를 위해 분류에 고정 임계값 0.5를 선택하였으며, 초기 실험 결과에서 낮은 임계값이 성능 향상에 기여할 수 있음을 확인했지만 이를 무시.
• 표준 NLP 메트릭을 사용해 모델 평가를 수행하였으며, 특히 재현율과 F1 점수에 중점을 두었는데, 이는 태스크의 핵심 목적이 모든 진짜 ADR를 식별하는 데 있음을 반영함.

실험 결과

연구 질문

• RQ1 특히 약물 이름 정규화를 포함한 도메인 특화 전처리가 소셜 미디어 텍스트에서 ADR 탐지 성능 향상에 기여하는가?
• RQ2 일반 도메인, 의료 도메인, 임상 도메인 BERT 변종을 앙성블링하면 개별 모델보다 성능이 향상되는가?
• RQ3 복잡한 재학습 전략보다 단순한 전처리기로 ADR 탐지의 재현율과 F1 점수에서 더 높은 성능을 달성할 수 있는가?
• RQ4 SMM4H 2019 코퍼스처럼 소규모이고 불균형한 데이터셋에서 BERT를 미세조정할 때 모델 변동성은 성능에 어떤 영향을 미치는가?
• RQ5 약물 정규화가 BERT 모델의 토큰화 및 표현 학습에 ADR 탐지에 있어 어느 정도 향상시키는가?

주요 결과

• 최종 앙성블 모델은 F1 점수 0.6681과 재현율 0.7700을 기록하여, SMM4H 2019 공동 과제에 제출된 모든 모델과 2020년 3월 21일 기준 평가 플랫폼에 추가된 모든 기여자들을 뛰어넘었다.
• 약물 정규화 모듈이 가장 영향력 있는 전처리 요소였으며, BioBERT와 ClinicalBERT의 F1 점수와 재현율을 각각 2.4%에서 10.9%까지 향상시켜, 일반 약물 이름의 보다 우수한 토큰화 덕분이었다.
• 동일한 전처리기를 사용한 BERT LARGE 모델이 150만 개 트윗 코퍼스에서 재학습한 SMM4H 2019 우승 팀의 모델 성능을 따라잡았으며, 이는 전처리 자체의 가치를 입증한다.
• 각 BERT 변종에 대해 5개의 독립적으로 훈련된 모델을 평균화한 앙성블 전략이 변동성을 감소시키고 모델의 강건성을 향상시켰으며, 소규모 데이터셋에서 BERT를 미세조정할 때 발생하는 본질적 불안정성 문제를 완화했다.
• 예측 표준편차는 런에 따라 약 0.01을 유지하여, 데이터 부족과 클래스 불균형으로 인한 지속적인 변동성이 있음을 시사하며, 이는 BERT 미세조정에서 널리 알려진 도전 과제이다.
• 세 가지 모델 유형(BERT LARGE, BioBERT, ClinicalBERT) 간 최대 예측 앙성블 전략이 상호보완적인 예측을 효과적으로 포착하여, 정밀도를 희생시키지 않은 채 재현율을 극대화했다.