[논문 리뷰] NRC-Canada at SMM4H Shared Task: Classifying Tweets Mentioning Adverse Drug Reactions and Medication Intake

Svetlana Kiritchenko, Saif M. Mohammad외 2명|arXiv (Cornell University)|2018. 05. 11.

Topic Modeling인용 수 16

한 줄 요약

NRC-Canada는 표면형태, 감성, 도메인 특화 특징을 사용한 SVM 기반 시스템을 개발하여 약물 부작용(ADE) 및 약물 복용 여부를 분류했다. 이 방법은 클래스 불균형 문제를 해결하기 위해 언더샘플링을 적용하고 도메인 일반화된 n-그램 및 워드 임베딩을 활용함으로써 최신 기술 수준의 성능을 달성하였으며, Task 1(ADE 탐지)에서 F1 스코어 0.435, Task 2(약물 복용 여부 분류)에서 0.673의 성능을 기록하였다.

ABSTRACT

Our team, NRC-Canada, participated in two shared tasks at the AMIA-2017 Workshop on Social Media Mining for Health Applications (SMM4H): Task 1 - classification of tweets mentioning adverse drug reactions, and Task 2 - classification of tweets describing personal medication intake. For both tasks, we trained Support Vector Machine classifiers using a variety of surface-form, sentiment, and domain-specific features. With nine teams participating in each task, our submissions ranked first on Task 1 and third on Task 2. Handling considerable class imbalance proved crucial for Task 1. We applied an under-sampling technique to reduce class imbalance (from about 1:10 to 1:2). Standard n-gram features, n-grams generalized over domain terms, as well as general-domain and domain-specific word embeddings had a substantial impact on the overall performance in both tasks. On the other hand, including sentiment lexicon features did not result in any improvement.

연구 동기 및 목표

• 비공식적이고 짧은 소셜미디어 텍스트에서 약물 부작용(ADE)을 탐지하기 위한 강력한 기계학습 시스템을 개발하는 것.
• 비공식적인 언어에서의 자가 보고의 특징을 반영하여 개인적 또는 가능성이 있는 약물 복용 여부를 나타내는 트윗을 분류하는 것.
• 약물 감시 분야에서 흔히 나타나는 극도로 불균형한 데이터셋에서의 성능 향상을 위해 언더샘플링 기법을 적용하는 것.
• 표면형태, 감성 어휘, 도메인 특화 특징 등의 다양한 특징 유형이 건강 관련 소셜미디어 텍스트 분류 성능에 미치는 영향을 평가하는 것.
• ADR 및 약물 복용 여부 탐지 작업에서 모델 성능에 가장 크게 기여하는 특징을 특정하는 것.

제안 방법

• ADR 탐지(Task 1)와 약물 복용 여부 분류(Task 2)의 두 공유 과제에 대해 지도 학습 기반의 서포트 벡터 머신(SVM) 분류기 학습.
• Task 1의 클래스 불균형 문제를 해결하기 위해 언더샘플링을 적용하여 비율을 1:10에서 1:2로 감소시켜 모델 일반화 능력 향상.
• 다양한 특징 유형 사용: 표준 n-그램, 도메인 일반화된 n-그램(예: 약물명을 자리표시자로 치환), 일반 및 도메인 특화 워드 임베딩.
• 감성 어휘 특징의 영향을 평가하기 위해 도입하였으나, 성능 향상에 기여하지 못함.
• 특징 그룹을 개별적으로 제거함으로써 기여도를 평가하기 위해 아블레이션 연구 수행.
• 교차 검증 및 테스트 세트 평가를 통해 모델 성능를 최적화하고 검증하였으며, 클래스 가중치도 시험하였지만 최종 모델에선 효과 없음.

실험 결과

연구 질문

• RQ1 짧고 비공식적인 소셜미디어 텍스트에서 약물 부작용을 분류하는 데 있어 전통적인 NLP 특징(예: n-그램, 임베딩)의 효과는 어떠한가?
• RQ2 클래스 불균형이 ADE 탐지 성능에 미치는 영향은 얼마나 크며, 언더샘플링 기법이 결과 향상에 기여할 수 있는가?
• RQ3 표면형태, 감성 어휘, 도메인 특화 특징 중 어떤 특징 유형이 약물 감시 과제에서 분류 성능 향상에 가장 기여하는가?
• RQ4 ADR 및 약물 복용 여부 탐지에 있어 도메인 일반화된 n-그램과 임베딩은 어떤가 비교하여 관련 패턴을 얼마나 잘 포착하는가?
• RQ5 감성 어휘 특징은 사용자 생성 건강 콘텐츠에서 ADE 또는 약물 복용 여부 탐지에 향상 효과를 줄 수 있는가?

주요 결과

• Task 1(ADE 탐지)에서 F1 스코어 0.435를 기록하여 9개 팀 중 1위를 차지.
• Task 2(약물 복용 여부 분류)에서 F1 스코어 0.673을 기록하여 9개 팀 중 3위를 기록.
• 비약물 부작용(non-ADR) 클래스를 언더샘플링하여 클래스 불균형 비율을 1:10에서 1:2로 감소시킴으로써 Task 1의 성능이 크게 향상됨.
• Task 1에서 일반 도메인 워드 임베딩 및 도메인 일반화된 n-그램이 가장 영향력 있는 특징으로 나타나 높은 F1 스코어 달성에 기여함.
• Task 2에서는 도메인 일반화된 n-그램이 가장 큰 개별 기여도를 보였으며, 제거 시 성능이 약 1%p 감소함.
• 감성 어휘 특징은 어느 과제도 성능 향상에 기여하지 못했으며, 분류 목표에 대해 효과가 없음.