[논문 리뷰] A Suffix Tree Approach to Email Filtering

Rajesh Pampapathi, Boris Mirkin외 1명|ArXiv.org|2005. 03. 14.

Spam and Phishing Detection참고 문헌 26인용 수 7

한 줄 요약

이 논문은 스팸 메일을 탐지하기 위해 문자 수준에서 이메일 내용을 분석하는 서픽스 트리 기반의 이메일 필터링 방법을 제안한다. 기존의 나이브 베이즈와 같은 키워드 기반 방법보다 성능이 뛰어나며, 'Vi.agr.a'와 같은 변형 기법에도 관계없이 부분 문자열을 포착함으로써 분류 정확도를 높인다. 특히 매치 순열 정규화와 최적의 임계값 튜닝을 결합할 경우 성능 향상이 두드러진다.

ABSTRACT

We present an approach to email filtering based on the suffix tree data structure. A method for the scoring of emails using the suffix tree is developed and a number of scoring and score normalisation functions are tested. Our results show that the character level representation of emails and classes facilitated by the suffix tree can significantly improve classification accuracy when compared with the currently popular methods, such as naive Bayes. We believe the method can be extended to the classification of documents in other domains.

연구 동기 및 목표

• 키워드 기반 스팸 필터의 한계를 해결하기 위해, 문자 삽입 등으로 변형된 스팸 메일을 탐지하지 못하는 문제를 해결한다.
• 이메일 분류에서 서픽스 트리를 활용한 문자 수준 분석의 가능성을 탐색한다.
• 서픽스 트리 기반 필터링 시스템에서 다양한 점수 산정 및 정규화 함수의 성능을 평가한다.
• 제안된 방법의 정확도와 강인성을 기존의 나이브 베이즈 분류기와 비교한다.
• 최고의 필터링 성능를 위해 임계값 및 중요도 함수와 같은 최적의 설정 파rameter를 규명한다.

제안 방법

• 학습용 이메일 데이터에서 서픽스 트리를 구축하여 텍스트의 모든 부분 문자열을 문자 수준에서 표현한다.
• 스팸 및 험 클래스의 서픽스 트리 프로파일에 포함된 부분 문자열의 빈도와 중요도를 기반으로 이메일을 점수화한다.
• 루트, 빈도, 엔트로피 기반 함수와 같은 중요도 함수를 사용하여 부분 문자열의 관련성에 가중치를 부여한다.
• 매치 순열 정규화를 적용하여 점수 일관성을 향상시키고 다양한 임계값에서의 과적합을 줄인다.
• 정규화된 점수 차이를 기반으로 새로운 이메일을 스팸 또는 험으로 분류하는 임계값 기반의 결정 규칙을 적용한다.
• 다양한 임계값에서 성능을 동적으로 평가하여 거짓 양성과 거짓 음성 비율을 균형 잡는다.

실험 결과

연구 질문

• RQ1 서픽스 트리를 활용한 문자 수준의 부분 문자열 분석은 단어 수준의 방법에 비해 스팸 탐지 정확도를 향상시킬 수 있는가?
• RQ2 다양한 중요도 함수는 서픽스 트리 분류기의 성능에 어떤 영향을 미치는가?
• RQ3 정규화 기법은 필터링 시스템의 강인성과 정확도에 어떤 영향을 미치는가?
• RQ4 분류기의 성능은 임계값 선택에 얼마나 민감한가? 최적의 임계값은 일관되게 식별될 수 있는가?
• RQ5 서픽스 트리 접근법은 다양한 이메일 데이터 세트, 특히 다양한 변형 기법을 사용한 경우에도 높은 성능을 유지하는가?

주요 결과

• 서픽스 트리 분류기는 나이브 베이즈보다 높은 분류 정확도를 달성했으며, 특히 'Vi.agr.a'와 같이 키워드가 문자 삽입으로 변형된 스팸 메일 탐지에서 뛰어난 성능을 보였다.
• 매치 순열 정규화가 가장 효과적인 정규화 방법이었으며, 모든 중요도 함수와 임계값 설정에서 성능 향상을 이끌었다.
• 루트 중요도 함수가 모든 데이터 세트에서 가장 일관되게 성능을 보였으며, 다른 함수들에 비해 약간의 우월성을 보였다.
• 거짓 양성 및 거짓 음성 비율 곡선이 서픽스 트리 분류기에서 더 완만하여, 최적의 임계값이 아닐 경우에도 강인성을 잘 유지함을 시사했다.
• 성능은 임계값 선택에 매우 민감했으며, 최적의 임계값은 데이터 세트에 따라 달라졌고, 이는 적응형 임계값 튜닝의 필요성을 시사했다.
• 계산 자원 소모가 더 크지만, 계산적으로 구현 가능하며 정확도가 중요한 필터링 응용 분야에 강력한 잠재력을 보였다.