[논문 리뷰] Spam filtering on forums: A synthetic oversampling based approach for imbalanced data classification

Pratik Ratadiya, Rahul Moorthy|arXiv (Cornell University)|2019. 09. 10.

Spam and Phishing Detection참고 문헌 1인용 수 12

한 줄 요약

이 논문은 포럼 스팸 필터링에서 클래스 불균형 문제를 해결하기 위해 SMOTE를 사용한 합성 오버샘플링 방법을 제안하며, 분류 성능을 크게 향상시킨다. 소수 클래스인 스팸 샘플을 합성하여 생성함으로써, 다양한 알고리즘에서 모델의 재현율과 F1 점수를 향상시키며, 기준 모델 대비 최대 10% 향상된 성능을 기록한다.

ABSTRACT

Forums play an important role in providing a platform for community interaction. The introduction of irrelevant content or spam by individuals for commercial and social gains tends to degrade the professional experience presented to the forum users. Automated moderation of the relevancy of posted content is desired. Machine learning is used for text classification and finds applications in spam email detection, fraudulent transaction detection etc. The balance of classes in training data is essential in the case of classification algorithms to make the learning efficient and accurate. However, in the case of forums, the spam content is sparse compared to the relevant content giving rise to a bias towards the latter while training. A model trained on such biased data will fail to classify a spam sample. An approach based on Synthetic Minority Over-sampling Technique(SMOTE) is presented in this paper to tackle imbalanced training data. It involves synthetically creating new minority class samples from the existing ones until balance in data is achieved. The enhanced data is then passed through various classifiers for which the performance is recorded. The results were analyzed on the data of forums of Spoken Tutorial, IIT Bombay over standard performance metrics and revealed that models trained after Synthetic Minority oversampling outperform the ones trained on imbalanced data by substantial margins. An empirical comparison of the results obtained by both SMOTE and without SMOTE for various supervised classification algorithms have been presented in this paper. Synthetic oversampling proves to be a critical technique for achieving uniform class distribution which in turn yields commendable results in text classification. The presented approach can be further extended to content categorization on educational websites thus helping to improve the overall digital learning experience.

연구 동기 및 목표

• 스팸 인스턴스가 비스팸 콘텐츠에 비해 극도로 적은 포럼 스팸 검출에서의 클래스 불균형 문제를 해결하기 위해.
• 소수 클래스(스팸)와 다수 클래스(비스팸)를 균형 잡음으로써, 불균형한 텍스트 데이터에서의 지도 학습 분류 알고리즘의 성능을 향상시키기 위해.
• 스팸 필터링에서 정밀도, 재현율, F1 점수 향상에 합성 오버샘플링(SMOTE)의 효과를 평가하기 위해.
• 합성 오버샘플링 기반의 데이터 증강이 원시적인 불균형 데이터셋으로 학습하는 것보다 더 강건하고 정확한 스팸 분류를 가능하게 한다는 것을 보여주기 위해.

제안 방법

• 전처리 단계로 HTML 태그 제거, 특수 문자 및 정지어 제거, 3자리 이하 토큰 필터링이 포함된다.
• 텍스트 데이터는 TF-IDF를 사용해 벡터화되며, 이는 텍스트 기능을 표현하기 위해 단어 빈도-역문헌 빈도 가중치를 계산한다.
• 학습 세트에 SMOTE를 적용하여 합성 스팸 샘플을 생성함으로써 소수 클래스(스팸)와 다수 클래스(비스팸)를 균형 잡는다.
• 오버샘플된 데이터셋을 사용해 다수의 지도 학습 분류기(다항 나이브 베이즈, 로지스틱 회귀, 선형 SVC, 결정 트리)를 훈련시킨다.
• 정밀도, 재현율, F1 점수, 정확도를 사용해 성능을 평가하며, 소수 클래스 탐지에 민감한 지표에 중점을 둔다.
• 모든 알고리즘에서 SMOTE 오버샘플된 데이터를 원래의 불균형 데이터셋과 비교하여 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 SMOTE를 사용한 합성 오버샘플링이 불균형한 포럼 데이터셋에서 스팸 탐지 성능을 유의미하게 향상시키는가?
• RQ2 SMOTE 기반의 데이터 균형 조정이 스팸 필터링에서 다양한 텍스트 분류 알고리즘의 정밀도, 재현율, F1 점수에 어떤 영향을 미치는가?
• RQ3 SMOTE는 실제 포럼 데이터에서 학습된 스팸 검출 모델의 다수 클래스 편향을 완화할 수 있는가?
• RQ4 불균형한 포럼 텍스트 데이터에서 F1 점수 향상 측면에서 가장 많은 이점을 얻는 분류 알고리즘은 무엇인가?

주요 결과

• SMOTE 적용 후 다항 나이브 베이즈의 F1 점수는 0.71에서 0.82로 상승하여 기준 모델 대비 10% 향상되었다.
• 로지스틱 회귀의 경우 SMOTE 적용 시 F1 점수가 0.0에서 0.40으로 상승하여 소수 클래스 탐지에서 유의미한 향상이 있었다.
• 선형 SVC 모델은 SMOTE 적용으로 F1 점수가 0.0에서 0.60으로 상승하여 재현율과 정밀도에 강력한 긍정적 영향을 미쳤다.
• 결정 트리 모델은 F1 점수가 0.20에서 0.18로 약간 상승했지만 여전히 가장 낮은 성능을 보였으며, 이는 SMOTE의 이점이 이 경우에 제한적임을 시사한다.
• 전반적인 정확도는 높게 유지되었으며(SMOTE 적용 시 0.96), 진정한 성과는 재현율과 F1 점수의 향상이었으며, 이는 불균형 스팸 검출에 더 의미 있는 지표였다.
• 이 연구는 SMOTE가 다수 클래스 편향을 효과적으로 줄이고 희귀 스팸 인스턴스 탐지 능력을 향상시킨다는 것을 확인한다.