[논문 리뷰] EMFET: E-mail Features Extraction Tool

Wadi’ Hijawi, Hossam Faris외 4명|arXiv (Cornell University)|2017. 01. 01.

Authorship Attribution and Profiling참고 문헌 4인용 수 5

한 줄 요약

EMFET는 EML 형식의 이메일 코퍼스에서 헤더, 페이로드(본문), 첨부파일 기능으로 분류된 140개의 이메일 기능을 추출하기 위한 오픈소스이자 확장 가능한 도구입니다. .NET과 Stanford.NLP, HTML Agility Pack 등의 외부 라이브러리를 사용하여 사용자 우아한 인터페이스와 모듈식 코드 아키텍처를 통해 자동으로 기능 추출을 수행함으로써 연구자가 스팸 검출을 위한 기계학습 모델 훈련을 위한 고품질 데이터셋을 구축할 수 있도록 지원합니다.

ABSTRACT

EMFET is an open source and flexible tool that can be used to extract a large number of features from any email corpus with emails saved in EML format. The extracted features can be categorized into three main groups: header features, payload (body) features, and attachment features. The purpose of the tool is to help practitioners and researchers to build datasets that can be used for training machine learning models for spam detection. So far, 140 features can be extracted using EMFET. EMFET is extensible and easy to use. The source code of EMFET is publicly available at GitHub (https://github.com/WadeaHijjawi/EmailFeaturesExtraction)

연구 동기 및 목표

• EML 형식의 코퍼스에서 포괄적인 이메일 기능을 추출하기 위한 유연하고 오픈소스 도구의 부족을 보완하기 위해.
• 연구자가 스팸 검출을 위한 기계학습 모델 훈련을 위한 고품질이고 표준화된 데이터셋을 구축할 수 있도록 지원하기 위해.
• 새로운 기능을 플러그인 유사 인터페이스를 통해 쉽게 추가할 수 있도록 모듈식이고 확장 가능한 프레임워크를 제공하기 위해.
• 원시 이메일 데이터에서 기능 추출을 자동화하여 이메일 스팸 검출의 전처리 파이프라인을 간소화하기 위해.
• 공개된 이메일 데이터셋 간의 기능 추출 표준화를 통해 스팸 연구의 재현 가능성과 상호운용성을 향상시키기 위해.

제안 방법

• 도구는 Microsoft CDO for Windows 2000 COM 라이브러리를 사용하여 EML 파일을 파싱하여 From, To, Subject, Body 등의 이메일 구성 요소를 추출합니다.
• 탭 기반의 GUI를 통해 사용자가 헤더, 페이로드/본문, 첨부파일 기능의 세 가지 카테고리에서 특정 기능을 선택할 수 있습니다.
• 선택된 기능은 고유 태그와 연결된 전용 절차를 통해 추출되며, 이는 모듈성과 확장성을 보장합니다.
• HTML 콘텐츠 처리, 자연어 처리(NLP) 작업, 구조화된 데이터 쿼리 등을 위해 HTML Agility Pack, Stanford.NLP.CoreNLP, LINQ 등의 외부 라이브러리가 사용됩니다.
• 추출된 기능은 CSV 형식으로 저장되며, 손상되거나 읽을 수 없는 이메일에 대해서는 오류 로그가 생성됩니다.
• 구현은 주 클래스 기반으로 이루어지며, 변수, 패키지, 이메일 객체의 별도 초기화를 통해 유지보수성과 확장성을 확보합니다.

실험 결과

연구 질문

• RQ1 스팸 검출 연구를 위한 EML 형식의 이메일 코퍼스에서 포괄적인 기능 세트를 추출할 수 있는 민첩하고 오픈소스 도구를 설계할 수 있는가?
• RQ2 EMFET의 모듈식 아키텍처는 주요 코드 재작성 없이도 새로운 기능을 추가하는 데 얼마나 효과적인가?
• RQ3 SpamAssassin, CSDMC2010, Ling-Spam과 같은 주요 공개 스팸 이메일 데이터셋과의 상호운용성은 어느 정도 지원되는가?
• RQ4 헤더, 본문, 첨부파일 기능의 다양성이 스팸 검출을 위한 기계학습 모델 훈련을 위한 데이터셋의 품질과 유용성에 어떤 영향을 미치는가?
• RQ5 Stanford.NLP, HTML Agility Pack 등의 외부 라이브러리 사용이 기능 추출의 정확성과 효율성에 어떤 영향을 미치는가?

주요 결과

• EMFET는 EML 형식의 이메일에서 49개의 헤더 기능, 89개의 페이로드/본문 기능, 2개의 첨부파일 기능으로 구성된 총 140개의 고유 기능을 성공적으로 추출합니다.
• 이 도구는 SpamAssassin, CSDMC2010, Ling-Spam과 같은 주요 공개 이메일 코퍼스와 통합 가능하며, 이들 모두 EML 형식으로 제공됩니다.
• 모듈식 설계 덕분에 확장이 용이합니다: 새로운 기능은 새로운 체크박스 생성, 고유 태그 정의, 새로운 추출 절차 연결만으로 추가할 수 있습니다.
• Stanford.NLP 및 HTML Agility Pack 등의 외부 라이브러리 사용은 텍스트 및 HTML 콘텐츠 파싱의 코드 복잡도를 크게 감소시키고 정확도를 향상시킵니다.
• 모든 추출 기능에 대해 구조화된 CSV 출력을 생성하며, 손상된 이메일에 대해서는 오류 로그를 기록하여 데이터 무결성과 재현 가능성을 보장합니다.
• EMFET의 인터페이스에는 진행률 표시바와 폴더 브라우저가 포함되어 있어 프로그래밍 숙련도가 낮은 연구자 및 실무자에게도 사용성이 향상됩니다.