[논문 리뷰] An Empirical Analysis of SMS Scam Detection Systems

Muhammad Salman, Muhammad Ikram외 1명|arXiv (Cornell University)|2022. 10. 19.

Spam and Phishing Detection인용 수 10

한 줄 요약

이 논문은 현재의 사기 추세를 반영한 가장 큰 공개된 SMS 사기 데이터셋(153,551건의 메시지)을 소개하고, 얕은 학습, 딥 러닝, 일괄 학습, PU 학습을 포함한 다양한 기계학습 모델을 이 데이터셋에서 평가한다. 연구 결과, 트랜스포머 기반 모델이 뛰어난 강건성을 보이며, fastText는 속도와 성능 사이의 균형을 잘 유지하고 있음을 확인했고, 진화하는 사기 수법에 대응하기 위해 적대적 훈련과 협업 기반 감지 프레임워크의 필수성을 강조한다.

ABSTRACT

The short message service (SMS) was introduced a generation ago to the mobile phone users. They make up the world's oldest large-scale network, with billions of users and therefore attracts a lot of fraud. Due to the convergence of mobile network with internet, SMS based scams can potentially compromise the security of internet services as well. In this study, we present a new SMS scam dataset consisting of 153,551 SMSes. This dataset that we will release publicly for research purposes represents the largest publicly-available SMS scam dataset. We evaluate and compare the performance achieved by several established machine learning methods on the new dataset, ranging from shallow machine learning approaches to deep neural networks to syntactic and semantic feature models. We then study the existing models from an adversarial viewpoint by assessing its robustness against different level of adversarial manipulation. This perspective consolidates the current state of the art in SMS Spam filtering, highlights the limitations and the opportunities to improve the existing approaches.

연구 동기 및 목표

• 현재의 사기 추세를 반영한 대규모, 최신, 공개 가능한 SMS 스팸 데이터셋이 부족한 문제를 해결하기 위해.
• 최근 확보한 대규모 SMS 스팸 데이터셋에서 다양한 기계학습 접근법—딥 러닝, 일괄 학습, PU 학습 등—을 평가하고 비교하기 위해.
• 실제의 회피 전략을 반영한 적대적 변형에 대한 기존 SMS 스팸 탐지 모델의 강건성 평가를 위해.
• 기존 SMS 스팸 연구에서의 방법론적 격차, 예를 들어 오래된 데이터셋에 의존하거나 데이터 불균형 문제를 해결하지 못한 점을 진단하고, 종합적인 평가 프레임워크를 제안하기 위해.
• 사용자 수준과 네트워크 수준의 특징을 결합한 협업 기반 하이브리드 감지 시스템을 통해 실세계 배포 환경에서의 탐지 성능 향상을 위해

제안 방법

• ScamWatch 및 Action Fraud 등의 공개 자료에서 153,551건의 SMS 메시지를 수집하여, 스팸으로 분류된 27.31%(15,209건)와 험으로 분류된 72.69%(40,477건)로 레이블링하였다.
• 다양한 기계학습 모델을 평가: 전통적인 분류기(예: fastText), 딥 네트워크, 트랜스포머(예: BERT), 비지도 방법(예: OCSVM, PU 학습) 등.
• 다양한 특징 표현 방식을 사용: 카운트 벡터화, TF-IDF, 그리고 문맥 기반 단어 임베딩(예: Word2Vec, GloVe)을 통해 특징 중요도를 평가하였다.
• 다양한 변형 수준(예: 동의어 교체, 문자 수준 편집 등)을 가진 블랙박스 적대적 공격 전략을 설계하여 모델의 강건성 테스트를 수행하였다.
• F1 점수와 정확도를 사용한 비교 실험을 수행하였으며, 데이터셋의 클래스 불균형 문제를 다루는 데 중점을 두었다.
• 내용 기반 모델과 비내용 기반 특징(예: 메시지 크기, 시간, 네트워크 메타데이터 등)을 통합한 하이브리드 평가 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 및 비지도 학습 방법을 포함한 다양한 기계학습 모델이 대규모 현대식 SMS 스팸 데이터셋에서 어떻게 성능을 내는가?
• RQ2 실제 사기꾼의 회피 기법을 모방한 적대적 변형에 대해 기존의 SMS 스팸 탐지 모델이 어느 정도 강건한가?
• RQ3 간단한 카운트 기반 표현에서부터 문맥 기반 단어 임베딩까지 다양한 특징 표현 방식을 사용할 경우 모델의 성능는 어떻게 변화하는가?
• RQ4 SMS 스팸 탐지에서 모델 성능, 훈련 시간, 계산 비용 사이의 상호 상충 관계는 어떠한가?
• RQ5 사용자 측과 네트워크 측 특징을 통합한 협업 기반 하이브리드 감지 시스템은 전체 탐지 효율을 어떻게 향상시킬 수 있는가?

주요 결과

• 트랜스포머 기반 딥 러닝 모델이 적대적 공격에 대해 가장 뛰어난 강건성을 보였으며, 변형 조건에서도 높은 F1 점수를 유지하는 데서 다른 모델들을 크게 앞섰다.
• fastText는 F1 점수 82%를 기록했고, 훈련 및 추론 시간이 훨씬 적어 자원 제약 환경에서 딥 러닝의 실용적 대안이 되었다.
• 기존의 지도 학습 모델은 청소된 데이터에서는 잘 작동했지만, 적대적 조건에서는 일반화 성능이 떨어졌으며, 대부분의 모델에서 공격 시 정밀도가 90% 이하로 떨어졌다.
• 문맥 기반 단어 임베딩(예: Word2Vec, GloVe)은 분류 정확도와 강건성 모두를 크게 향상시켰으며, TF-IDF와 같은 비의미적 벡터 공간 모델보다 뛰어난 성능을 보였다.
• 극도로 불균형한 데이터셋에서는 정확도를 주요 평가 지표로 사용하는 것이 오해의 소지가 있으며, F1 점수가 실세계 스팸 탐지에서 모델 성능을 더 신뢰할 수 있는 지표임을 확인했다.
• 일괄 학습 및 PU 학습 방법은 비지도 스팸 탐지에서 잠재력을 보였으며, 대규모 레이블링 데이터에 대한 의존도를 줄일 수 있는 길을 제시한다.