[논문 리뷰] A PubMedBERT-based Classifier with Data Augmentation Strategy for Detecting Medication Mentions in Tweets

Qing Han, Shubo Tian외 1명|arXiv (Cornell University)|2021. 11. 03.

Biomedical Text Mining and Ontologies인용 수 10

한 줄 요약

이 논문은 PubMedBERT 기반 분류기를 다중 전략적 데이터 증강 방법과 결합하여 트윗에서 약물 언급을 탐지하는 데에 활용한다. 비표준 언어와 클래스 불균형과 같은 과제를 해결함으로써, BioCreative VII Track 3 기준으로 F1 스코어 0.762를 기록하여 평균 제출 성능보다 유의미하게 뛰어나다.

ABSTRACT

As a major social media platform, Twitter publishes a large number of user-generated text (tweets) on a daily basis. Mining such data can be used to address important social, public health, and emergency management issues that are infeasible through other means. An essential step in many text mining pipelines is named entity recognition (NER), which presents some special challenges for tweet data. Among them are nonstandard expressions, extreme imbalanced classes, and lack of context information, etc. The track 3 of BioCreative challenge VII (BC7) was organized to evaluate methods for detecting medication mentions in tweets. In this paper, we report our work on BC7 track 3, where we explored a PubMedBERT-based classifier trained with a combination of multiple data augmentation approaches. Our method achieved an F1 score of 0.762, which is substantially higher than the mean of all submissions (0.696).

연구 동기 및 목표

• 트윗에서 약물 언급을 탐지하는 데 있어 비표준 언어, 극심한 클래스 불균형, 제한된 맥락 등의 과제를 해결하기 위해.
• 사전 훈련된 언어 모델을 활용하여 저자원, 노이즈가 많은 소셜 미디어 텍스트에서 명명된 엔티티 인식(NER) 성능을 향상시키기 위해.
• 다양한 데이터 증강 전략을 조합함으로써 모델의 일반화 능력과 불균형한 트윗 데이터에서의 성능 향상에 기여하는지 평가하기 위해.
• 저자원, 비공식적인 텍스트 환경에서의 약물 언급 탐지에 대해 강건하고 이식 가능한 방법을 기여하기 위해.

제안 방법

• 생물의학 문헌을 기반으로 사전 훈련된 도메인 특화 BERT 버전인 PubMedBERT를 트윗 데이터의 시퀀스 레이블링 작업에 맞게 미세조정하기 위해.
• 백번역, 동의어 교체, 동의어 삽입 등의 데이터 증강 기법을 조합하여 훈련 데이터의 다양성을 높이고 클래스 불균형을 완화하기 위해.
• 의약품 언급이 포함된 실제적인 언어적 타당성을 갖춘 합성 트윗을 생성하기 위해 조건부 생성 기반 접근법을 사용하기 위해.
• 트윗 내 약물 엔티티의 장꼬리 분포를 더 잘 다루기 위해 훈련 중 클래스 가중치 조정과 포칼 손실을 적용하기 위해.
• 수동으로 주석이 달린 약물 언급을 포함한 BC7 Track 3 데이터셋을 기반으로 모델을 종합적으로 훈련하기 위해.
• 공식 테스트 세트에서 표준 NER 메트릭(정밀도, 재현율, F1 스코어)을 사용하여 모델 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 다양한 언어적 변형과 맥락의 부족에도 불구하고, PubMedBERT 기반 모델이 비공식적이고 노이즈가 많은 트윗 텍스트에서 약물 언급을 효과적으로 탐지할 수 있는가?
• RQ2 여러 가지 데이터 증강 전략을 조합함으로써 트윗에서 저자원, 불균형한 약물 언급 탐지 성능에 어떤 영향을 미치는가?
• RQ3 기본 모델에 증강 기법을 적용하지 않은 경우에 비해 데이터 증강이 일반화 능력과 F1 스코어 향상에 얼마나 기여하는가?
• RQ4 도메인 특화 사전 훈련(PubMedBERT)과 데이터 증강을 통합하면 일반 도메인 모델보다 소셜 미디어 헬스 텍스트에서 더 우수한 성능을 내는가?

주요 결과

• 제안된 PubMedBERT 기반 분류기와 데이터 증강을 통한 결과, BC7 Track 3 테스트 세트에서 F1 스코어 0.762를 기록하여 평균 제출 성능인 0.696보다 뚜렷이 뛰어나다.
• 백번역, 동의어 교체, 조건부 생성의 조합이 희귀 약물 엔티티에 대한 모델의 강건성과 일반화 능력을 향상시켰다.
• 데이터 증강의 적용으로 클래스 불균형의 영향이 완화되어 표현 빈도가 낮은 약물 언급에 대해 더 높은 재현율을 달성하였다.
• 모델은 어휘에 없는 단어와 철자 오류가 있는 단어에 대해서도 뛰어난 성능을 보여, 트윗에서의 비표준 언어 형태를 효과적으로 처리함을 시사한다.
• 의료 분야에 특화된 사전 훈련(PubMedBERT)과 타겟된 데이터 증강 전략을 통합함으로써, 기본 미세조정 BERT 모델 대비 F1 스코어 향상이 명확하게 관찰되었다.
• 결과적으로 도메인 특화 사전 훈련과 다중 전략적 데이터 증강의 조합이 저자원, 노이즈가 많은 소셜 미디어 텍스트에서의 NER에 효과적임을 확인하였다.