[논문 리뷰] Anomaly Detection in Emails using Machine Learning and Header Information

Craig Beaman, Haruna Isah|arXiv (Cornell University)|2022. 03. 19.

Spam and Phishing Detection인용 수 4

한 줄 요약

이 논문은 이메일 본문 분석에 의존하지 않고 오직 이메일 헤더 정보만을 사용하여 피싱 및 스팸 이메일을 탐지하기 위한 머신러닝 접근법을 제안한다. 랜덤 포레스트와 SVM과 같은 지도 학습 모델을 사용하여 스팸 탐지에 99%의 정확도, 피싱 탐지에 97%의 정확도를 달성하였으며, 원클래스 SVM 또한 뛰어난 성능을 보여 이메일 헤더만으로도 높은 정확도의 이상 탐지가 가능함을 입증한다. 이는 실세계 필터링 시스템에서의 고성능 이상 탐지에 충분하다는 것을 의미한다.

ABSTRACT

Anomalies in emails such as phishing and spam present major security risks such as the loss of privacy, money, and brand reputation to both individuals and organizations. Previous studies on email anomaly detection relied on a single type of anomaly and the analysis of the email body and subject content. A drawback of this approach is that it takes into account the written language of the email content. To overcome this deficit, this study conducted feature extraction and selection on email header datasets and leveraged both multi and one-class anomaly detection approaches. Experimental analysis results obtained demonstrate that email header information only is enough to reliably detect spam and phishing emails. Supervised learning algorithms such as Random Forest, SVM, MLP, KNN, and their stacked ensembles were found to be very successful, achieving high accuracy scores of 97% for phishing and 99% for spam emails. One-class classification with One-Class SVM achieved accuracy scores of 87% and 89% with spam and phishing emails, respectively. Real-world email filtering applications will benefit from the use of only the header information in terms of resources utilization and efficiency.

연구 동기 및 목표

• 이전의 이메일 이상 탐지 방법들이 본문 및 제목 내용에만 의존하여 언어 기반 회피 공격에 취약한 점을 해결하고자 한다.
• 이메일 헤더 정보만으로도 스팸 및 피싱 이상을 효과적으로 탐지할 수 있는지 조사하고자 한다.
• 다양한 이메일 헤더 패턴에 걸쳐 일반화 및 강건성을 높이기 위해 스택드 앙상블 모델을 활용한다.
• 차원 축소를 통해 모델 효율성을 향상시키면서도 탐지 정확도를 유지하기 위해 특성 선택을 수행한다.
• 표준 평가 지표(예: 정확도)를 사용하여 실용성과 낮은 자원 소비를 중시한 평가를 수행한다.
• 실세계 이메일 헤더 데이터를 활용해 결과의 실용성과 확장성을 검증한다.

제안 방법

• 발신자, 수신자, 타임스탬프, 라우팅 정보 등의 메타데이터에 중점을 두고 이메일 헤더 데이터셋에서 관련 특성을 추출하고 선별한다.
• 랜덤 포레스트, SVM, MLP, KNN, 원클래스 SVM 등을 포함한 다중 클래스 및 원클래스 이상 탐지 기법을 적용한다.
• 다양한 이메일 헤더 패턴에 걸쳐 일반화 및 강건성을 높이기 위해 스택드 앙상블 모델을 활용한다.
• 차원 축소를 통해 모델 효율성을 향상시키면서도 탐지 정확도를 유지하기 위해 특성 선택을 수행한다.
• 표준 평가 지표(예: 정확도)를 사용하여 실용성과 낮은 자원 소비를 중시한 평가를 수행한다.
• 실세계 이메일 헤더 데이터를 활용해 결과의 실용성과 확장성을 검증한다.

실험 결과

연구 질문

• RQ1 본문 분석 없이도 이메일 헤더 정보만으로 스팸 및 피싱 이메일을 고정확도로 탐지할 수 있는가?
• RQ2 다중 클래스 및 원클래스 머신러닝 모델이 이메일 헤더만을 사용할 때 이상 탐지 성능에서 어떻게 상호 비교되는가?
• RQ3 오직 헤더 메타데이터로만 훈련된 경우 어떤 지도 학습 알고리즘이 가장 높은 탐지 정확도를 달성하는가?
• RQ4 원클래스 분류 모델이 오직 헤더 데이터만을 사용할 때 새로운 또는 미리보지 않은 피싱/스팸 패턴을 어느 정도 탐지할 수 있는가?
• RQ5 본문 기반 탐지 시스템과 비교해 본 논문의 헤더 전용 접근법은 효율성과 자원 사용 측면에서 어떻게 다른가?

주요 결과

• 지도 학습 모델은 오직 이메일 헤더 정보만을 사용하여 스팸 이메일 탐지에 99%의 정확도, 피싱 이메일 탐지에 97%의 정확도를 달성하였다.
• 원클래스 SVM은 피싱 탐지에 89%의 정확도, 스팸 탐지에 87%의 정확도를 기록하여 비지도 이상 탐지 환경에서도 뛰어난 성능을 보였다.
• 오직 헤더 데이터만을 사용하는 것이 스팸 및 피싱 이상을 신뢰성 있게 탐지하는 데 충분했으며, 본문 분석이 필요 없음을 확인하였다.
• 랜덤 포레스트, SVM, MLP의 스택드 앙상블 모델이 개별 모델보다 뛰어난 성능을 보여 강건성과 일반화 능력 향상이 확인되었다.
• 이 방법은 계산 오버헤드와 자원 사용을 크게 줄여 실시간 이메일 필터링 응용에 적합하다.
• 특성 선택을 통해 탐지 정확도를 유지하면서도 모델 효율성을 향상시켜 선별된 헤더 특성의 관련성을 확인하였다.