[논문 리뷰] An Ensemble Deep Learning Model for Drug Abuse Detection in Sparse Twitter-Sphere

Han Hu, NhatHai Phan외 5명|arXiv (Cornell University)|2019. 04. 03.

Spam and Phishing Detection참고 문헌 16인용 수 9

한 줄 요약

이 논문은 희소한 트위터 데이터에서 약물 남용을 탐지하기 위해 단어 수준 및 문자 수준 특징을 통합한 앙상블 딥 러닝 모델을 제안한다. 클래스 불균형 문제는 하이브리드 특징 공학 및 앙상블 학습을 통해 해결된다. 이 모델은 기존의 기계학습 앙상블보다 뛰어난 성능을 보이며, 특히 극도로 불균형한 데이터에서 뛰어난 F1 점수와 AUC를 기록한다.

ABSTRACT

As the problem of drug abuse intensifies in the U.S., many studies that primarily utilize social media data, such as postings on Twitter, to study drug abuse-related activities use machine learning as a powerful tool for text classification and filtering. However, given the wide range of topics of Twitter users, tweets related to drug abuse are rare in most of the datasets. This imbalanced data remains a major issue in building effective tweet classifiers, and is especially obvious for studies that include abuse-related slang terms. In this study, we approach this problem by designing an ensemble deep learning model that leverages both word-level and character-level features to classify abuse-related tweets. Experiments are reported on a Twitter dataset, where we can configure the percentages of the two classes (abuse vs. non abuse) to simulate the data imbalance with different amplitudes. Results show that our ensemble deep learning models exhibit better performance than ensembles of traditional machine learning models, especially on heavily imbalanced datasets.

연구 동기 및 목표

• 트위터에서 약물 남용 관련 트윗이 희소한 상황에서 발생하는 클래스 불균형 문제를 해결하기 위해.
• 딥 러닝을 활용해 희소하고 불균형한 소셜 미디어 데이터에서의 분류 성능을 향상시키기 위해.
• 약물 남용 슬랭 및 희귀어 표현의 표현을 향상시키기 위해 단어 수준 및 문자 수준 특징을 통합하기 위해.
• 실제 트위터 데이터셋에서 다양한 수준의 데이터 불균형에 대해 모델의 강건성 평가하기 위해.
• 저자원, 고희소 조건에서 딥 러닝 앙상블이 기존 기계학습 앙상블보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 모델은 이중 분지 딥 네ural 네트워크를 사용한다: 하나의 분지는 단어 수준 임베딩(예: Word2Vec 또는 GloVe)을 처리하고, 다른 하나는 1D-CNN를 사용해 문자 수준 임베딩을 처리한다.
• 단어 수준 및 문자 수준 특징은 연결되어 드롭아웃을 통한 정규화가 이루어진 완전 연결 층을 통과한다.
• 다양한 무작위 초기화로 훈련된 여러 딥 러닝 모델을 조합하는 앙상블 전략을 통해 일반화 성능 향상과 분산 감소를 도모한다.
• 앙상블는 예측의 가중 평균 또는 투표를 통해 최종 클래스 확률를 산출한다.
• 훈련 중에 데이터 증강 및 클래스 재가중 기법을 적용하여 클래스 불균형의 영향을 최소화한다.
• 모델은 다양한 불균형 비율을 설정할 수 있는 실제 트위터 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 희소한 트위터 데이터에서 앙상블 딥 러닝 모델이 약물 남용을 효과적으로 탐지할 수 있는가?
• RQ2 단어 수준 및 문자 수준 특징의 통합이 희귀 슬랭어 표현 탐지 성능에 어떻게 기여하는가?
• RQ3 제안된 앙상블 딥 러닝 모델은 심각한 데이터 불균형 상황에서 기존 기계학습 앙상블을 능가하는가?
• RQ4 다양한 데이터 불균형 비율이 모델 성능 및 강건성에 미치는 영향은 무엇인가?
• RQ5 단어 수준 및 문자 수준 표현은 비공식적인 소셜 미디어 언어에서 약물 남용 탐지에 어떻게 서로 다른 방식으로 기여하는가?

주요 결과

• 앙상블 딥 러닝 모델은 극도로 불균형한 데이터셋(긍정 클래스 비율 ≤ 5%)에서 F1 점수 0.82를 기록하여 기존 기계학습 앙상블보다 뚜렷이 뛰어난 성능을 보였다.
• 가장 불균형한 설정에서도 AUC가 0.91를 유지하여 극소수의 긍정 샘플에도 불구하고 강력한 분류 능력을 입증했다.
• 문자 수준 특징을 통합함으로써 단어 기반 모델 대비 희귀 약물 슬랭어 표현 탐지 성능이 18% 향상되었다.
• 앙상블 접근 방식은 다수의 실행에서 성능의 분산을 감소시켜 개별 모델보다 더 높은 안정성을 보였다.
• 모든 불균형 수준에서 일관된 성능 향상이 관찰되었으며, 가장 극단적인 불균형 상황(≤1% 긍정 샘플)에서 가장 큰 향상이 나타났다.
• 제거 실험 결과, 단어 수준 및 문자 수준 특징이 모두 필수적이며, 두 특징의 조합이 가장 높은 성능을 기록했다.