[논문 리뷰] Analyzing the Social Structure and Dynamics of E-mail and Spam in Massive Backbone Internet Traffic

Farnaz Moradi, Tomas Olovsson외 1명|arXiv (Cornell University)|2010. 08. 19.

Complex Network Analysis Techniques참고 문헌 16인용 수 3

한 줄 요약

이 연구는 10 Gbps 백본 링크를 통해 수집한 대규모 SMTP 트래픽을 분석하여 이메일 소셜 네트워크를 구축하고, 정상(햄) 및 스팸 이메일 트래픽의 구조적 및 시간적 동적 특성을 비교한다. 이전의 가정과는 달리, 저자들은 스팸의 간섭적인 영향으로 인해 이메일 네트워크가 스케일프리가 아니라는 것을 발견한다. 스팸은 비사회적이고 비파워레인지수 분포를 보이며, 이는 조기 스팸 탐지에 위한 새로운 네트워크 수준의 특징을 제공한다.

ABSTRACT

E-mail is probably the most popular application on the Internet, with everyday business and personal communications dependent on it. Spam or unsolicited e-mail has been estimated to cost businesses significant amounts of money. However, our understanding of the network-level behavior of legitimate e-mail traffic and how it differs from spam traffic is limited. In this study, we have passively captured SMTP packets from a 10 Gbit/s Internet backbone link to construct a social network of e-mail users based on their exchanged e-mails. The focus of this paper is on the graph metrics indicating various structural properties of e-mail networks and how they evolve over time. This study also looks into the differences in the structural and temporal characteristics of spam and non-spam networks. Our analysis on the collected data allows us to show several differences between the behavior of spam and legitimate e-mail traffic, which can help us to understand the behavior of spammers and give us the knowledge to statistically model spam traffic on the network-level in order to complement current spam detection techniques.

연구 동기 및 목표

• . 실제 백본 트래픽에서 유래한 대규모 이메일 네트워크의 구조적 및 시간적 성질을 분석하기 위해.
• . 이전에 더 작은 데이터셋 기반 연구에서 주장한 바와 같이, 이메일 네트워크가 스케일프리 특성을 보이는지 조사하기 위해.
• . 정상(햄) 및 스팸 이메일 트래픽 간의 구별 가능한 네트워크 수준의 특징을 식별하기 위해.
• . 시간 창 선택이 네트워크 위상 및 스팸 탐지 가능성에 미치는 영향을 평가하기 위해.
• . 기존 필터링 기법을 보완하여 스팸 탐지 성능을 향상시키기 위한 네트워크 수준의 지표를 제공하기 위해.

제안 방법

• . 캐럴머스 대학의 10 Gbps 인터넷 백본 링크에서 수동으로 캡처한 SMTP 패킷을 사용함.
• . 이메일 주소를 노드로, 전송를 간선으로 사용하여 무방향 및 유방향 이메일 네트워크를 구축함.
• . 잘 훈련된 스팸 필터링 도구인 스팸아사신(SpamAssassin)을 사용하여 이메일을 햄과 스팸으로 분류함.
• . 세 개의 네트워크를 생성함: (1) 정상 이메일(햄), (2) 전달된 스팸, (3) 전달된 스팸과 거부된 스팸의 병합.
• . 차수 분포, 평균 경로 길이, 클러스터링 계수, 강하게 연결된 성분(Strongly Connected Components, SCCs) 등의 그래프 지표를 분석함.
• . 다양한 시간 창(예: 12시간, 일일, 주간)을 사용하여 네트워크의 시간적 변화를 평가함으로써 안정성 및 스팸 패턴 탐지 가능성 평가함.

실험 결과

연구 질문

• RQ1 . 이전에 제한된 데이터셋 기반 연구에서 주장한 바와 같이, 이메일 네트워크가 스케일프리인가?
• RQ2 . 햄 및 스팸 네트워크의 구조적 성질(예: 차수 분포, 클러스터링, 경로 길이)은 어떻게 다를까?
• RQ3 . 시간 창 선택이 네트워크 위상에서 스팸 행동 탐지 가능성에 어떤 영향을 미치는가?
• RQ4 . 햄 및 스팸 네트워크 간의 강하게 연결된 성분(Giant Strongly Connected Component, GSCC)의 크기 및 분포는 어떻게 다를까?
• RQ5 . 스팸 트래픽의 네트워크 수준 특징을 활용하여 현재의 스팸 필터링보다 더 빠르고 효과적으로 스팸 발신자를 조기에 탐지할 수 있는가?

주요 결과

• . 이메일 네트워크는 스케일프리가 아니다. 전체 이메일 네트워크의 차수 분포는 스팸의 압도적인 존재로 인해 파워레인지수 분포에서 벗어남.
• . 정상(햄) 이메일 트래픽은 파워레인지수 차수 분포를 보이며 스케일프리 행동을 나타내어 사회적 네트워크 특성을 확인함.
• . 스팸 트래픽은 자동화된 비사회적 대량 전송 행동으로 인해 특히 외부 차수에서 파워레인지수 분포를 따르지 않음.
• . 햄 및 스팸 네트워크 양쪽에 거대 강하게 연결된 성분(GSCC)이 존재하지만, SCC 크기 분포는 다름: 햄에서는 파워레인지수, 스팸 및 거부된 트래픽에서는 비파워레인지수.
• . 영업 시간 동안 12시간 창이 스팸의 비파워레인지수 행동을 탐지하는 데 충분하며, 이는 더 빠르고 효율적인 네트워크 수준의 스팸 탐지 가능성을 높임.
• . 시간적 변화 분석 결과, 햄 네트워크는 시간이 지남에 따라 점점 더 연결성이 높아지지만, 스팸 네트워크의 GSCC 크기는 최소한의 변화를 보이며 안정적이고 변화가 없는 스팸 확산 패턴을 나타냄.