[논문 리뷰] Evaluating Classifiers in Detecting 419 Scams in Bilingual Cybercriminal Communities

Alex V. Mbaziira, Ehab Abozinadah외 1명|arXiv (Cornell University)|2015. 08. 17.

Spam and Phishing Detection참고 문헌 19인용 수 6

한 줄 요약

이 연구는 이중어로 된 나이지리아 해커 포럼에서 419 스캠을 탐지하기 위해 나이브 베이즈, k-최근접 이웃(IBK), 및 서포트 벡터 머신(SVM)을 평가한다. 실제 데이터셋을 사용하여 SVM는 95% 신뢰수준에서 다른 분류기들보다 뛰어난 성능을 보이며, 다국어 사이버범죄 탐지 환경에서 뛰어난 효과성을 입증한다.

ABSTRACT

Incidents of organized cybercrime are rising because of criminals are reaping high financial rewards while incurring low costs to commit crime. As the digital landscape broadens to accommodate more internet-enabled devices and technologies like social media, more cybercriminals who are not native English speakers are invading cyberspace to cash in on quick exploits. In this paper we evaluate the performance of three machine learning classifiers in detecting 419 scams in a bilingual Nigerian cybercriminal community. We use three popular classifiers in text processing namely: Naïve Bayes, k-nearest neighbors (IBK) and Support Vector Machines (SVM). The preliminary results on a real world dataset reveal the SVM significantly outperforms Naïve Bayes and IBK at 95% confidence level.

연구 동기 및 목표

• 기계학습 분류기의 419 스캠 탐지 효과성을 이중어 해커 커뮤니티 내에서 평가하기.
• 영어와 현지 언어가 공존하는 나이지리아 해커 포럼에서 수집한 실제 데이터셋을 기반으로 분류기 성능 평가하기.
• 나이브 베이즈, IBK, 및 SVM와 같은 널리 사용되는 세 가지 텍스트 분류 모델의 정확도와 강건성 비교하기.
• 다국어 온라인 범죄 환경에서 스캠 콘텐츠 탐지에 가장 효과적인 분류기 식별하기.

제안 방법

• 연구는 이중어 나이지리아 해커 포럼에서 수집한 실제 데이터셋을 사용하며, 영어 및 나이지리아 현지 언어로 구성된 메시지를 포함한다.
• 텍스트 전처리에는 토큰화, 불용어 제거, 및 백오브워즈 표현을 통한 특징 추출이 포함된다.
• 세 분류기—나이브 베이즈, k-최근접 이웃(IBK), 및 서포트 벡터 머신(SVM)—이 데이터셋에 대해 훈련되고 평가된다.
• 성능 평가는 정확도, 정밀도, 재현율, F1-스코어와 같은 표준 지표를 사용하며, 통계적 유의성은 95% 신뢰수준에서 테스트된다.
• 결과의 강건성과 일반화 능력을 확보하기 위해 10겹 교차검증이 사용된다.

실험 결과

연구 질문

• RQ1 이중어 해커 커뮤니티 내에서 419 스캠 탐지에 가장 잘 성능을 내는 기계학습 분류기는 무엇인가?
• RQ2 나이브 베이즈, IBK, 및 SVM는 다국어 스캠 탐지 작업에서 정확도와 신뢰성 측면에서 어떻게 비교되는가?
• RQ3 95% 신뢰수준에서 분류기 간에 통계적으로 유의미한 성능 차이가 존재하는가?
• RQ4 기존의 텍스트 분류기는 저자원, 다국어 사이버범죄 커뮤니케이션 환경을 다루는데 얼마나 효과적인가?

주요 결과

• 서포트 벡터 머신(SVM)은 95% 신뢰수준에서 나이브 베이즈 및 k-최근접 이웃(IBK)보다 뚜렷이 뛰어난 성능을 보이며 419 스캠을 탐지한다.
• SVM 분류기는 이중어 데이터셋에서 테스트된 세 모델 중에서 가장 높은 정확도, 정밀도, 재현율, F1-스코어를 기록한다.
• 나이브 베이즈 및 IBK는 성능이 낮으며, 특히 IBK는 F1-스코어와 전체적인 강건성 측면에서 뚜렷이 열등하다.
• 결과는 SVM가 다국어 해커 포럼에서 발견되는 언어적 다양성과 복잡성을 다루는 데 더 적합하다는 것을 시사한다.