[논문 리뷰] InfyNLP at SMM4H Task 2: Stacked Ensemble of Shallow Convolutional Neural Networks for Identifying Personal Medication Intake from Twitter

Jasper Friedrichs, Debanjan Mahata외 1명|arXiv (Cornell University)|2018. 03. 21.

Sentiment Analysis and Opinion Mining참고 문헌 11인용 수 12

한 줄 요약

이 논문은 SMM4H 2017 Task 2 공유 과제에서 1위를 차지한, 개인 약물 복용을 나타내는 트윗을 분류하기 위해 얕은 합성곱 신경망(CNNs)의 스택드 앙상블을 제안한다. 랜덤 초모수 검색과 모델 스태킹을 통해 마이크로-F1 스코어 0.693를 달성하였다. 이 접근법은 소셜 미디어 텍스트에 대한 딥러닝을 활용하여 자가 보고된 약물 사용을 자동으로 탐지함으로써 약물안전성 모니터링을 향상시킨다.

ABSTRACT

This paper describes Infosys's participation in the "2nd Social Media Mining for Health Applications Shared Task at AMIA, 2017, Task 2". Mining social media messages for health and drug related information has received significant interest in pharmacovigilance research. This task targets at developing automated classification models for identifying tweets containing descriptions of personal intake of medicines. Towards this objective we train a stacked ensemble of shallow convolutional neural network (CNN) models on an annotated dataset provided by the organizers. We use random search for tuning the hyper-parameters of the CNN and submit an ensemble of best models for the prediction task. Our system secured first place among 9 teams, with a micro-averaged F-score of 0.693.

연구 동기 및 목표

• 소셜 미디어 게시물, 특히 트위터에서 개인 약물 복용을 자동으로 탐지하는 시스템을 개발하는 것.
• 소음이 많고 비공식적인 소셜 미디어 텍스트에서 자가 보고된 약물 사용을 식별하는 과제를 해결하는 것.
• 환자 보고 약물 사용을 스케일링 가능하고 실시간으로 모니터링할 수 있도록 가능하게 하여 약물안전성 모니터링을 향상시키는 것.
• 이 특정 분류 과제에서 전통적인 NLP 방법보다 우수한 성능을 내기 위해 딥러닝 모델을 활용하는 것.
• 앙상블 학습과 초모수 최적화를 통해 모델 성능을 최적화하는 것.

제안 방법

• 수동으로 주석 처리된 트윗 데이터셋을 기반으로 얕은 합성곱 신경망(CNNs)의 스택드 앙상블을 학습시켰다.
• 앙상블 내 각 기본 모델은 텍스트의 국소 n-그램 패턴을 캡처하기 위해 고정 크기의 필터를 가진 얕은 CNN이었다.
• 모델 성능을 최적화하기 위해 랜덤 서치를 사용하여 초모수를 조정하였다.
• 최종 예측은 성능이 가장 뛰어난 개별 CNN 모델들의 출력을 스태킹하여 생성되었다.
• 다양한 예측을 조합함으로써 강건성과 일반화 능력을 향상시켰다.
• 시스템은 개인 약물 복용을 주석 처리한 트위터 트윗을 포함한 SMM4H 2017 Task 2 데이터셋을 기반으로 학습 및 평가되었다.

실험 결과

연구 질문

• RQ1 얕은 CNN의 스택드 앙상블은 개인 약물 복용을 나타내는 트윗을 효과적으로 분류할 수 있는가?
• RQ2 이 과제에서 랜덤 서치를 통한 초모수 최적화가 개별 CNN 모델의 성능에 어떤 영향을 미치는가?
• RQ3 이 소셜 미디어 텍스트 분류 과제에서 개별 모델 대비 앙상블 학습이 분류 성능을 향상시키는가?
• RQ4 얕은 CNN은 약물안전성 응용 분야에서 소음이 많고 비공식적인 트위터 텍스트에서 관련 언어 패턴을 어느 정도 잘 포착할 수 있는가?
• RQ5 딥러닝 접근법을 사용할 경우 SMM4H 2017 Task 2 벤치마크에서 어떤 정도의 성능을 달성할 수 있는가?

주요 결과

• 시스템은 마이크로 평균 F1 스코어 0.693을 달성하여 SMM4H 2017 Task 2 공동 평가에서 참가한 9개 팀 중 1위를 기록하였다.
• 얕은 CNN의 스택드 앙상블은 개별 모델을 능가하는 성능을 보이며, 이 맥락에서 앙상블 학습의 효과성을 입증하였다.
• 초모수 최적화를 위한 랜덤 서치는 CNN 모델에 대해 높은 성능을 내는 설정을 성공적으로 식별하였다.
• 얕은 CNN은 비공식적인 트위터 언어에서 약물 복용 탐지에 관련된 국소 텍스트 패턴을 효과적으로 포착하였다.
• 시험 세트에서 높은 일반화 능력을 보이며, 소셜 미디어 텍스트의 노이즈와 변동성에 강건함을 입증하였다.
• 결과적으로 딥러닝 모델, 특히 얕은 CNN이 소셜 미디어에서 자동 약물안전성 모니터링에 실현 가능함을 확인하였다.