[논문 리뷰] Anomaly Detection in Dynamic Networks of Varying Size

Timothy La Fond, Jennifer Neville외 1명|arXiv (Cornell University)|2014. 11. 13.

Complex Network Analysis Techniques참고 문헌 13인용 수 7

한 줄 요약

이 논문은 네트워크 간선 수의 변화에 영향을 받지 않는 밀도일관성 네트워크 통계량—질량 이동, 정도 이동, 삼각형 확률—을 제안하여 크기가 변하는 동적 네트워크에서 정확한 이상 탐지가 가능하게 한다. 간선 수의 변동과 구조적 변화를 분리함으로써 진정한 행동 변화를 더 잘 탐지할 수 있게 되었으며, 합성 실험에서 재현율이 20–400% 향상되었고, 이메일 및 소셜 네트워크 데이터에서 이전에 간과된 실제 사건들을 밝혀냈다.

ABSTRACT

Dynamic networks, also called network streams, are an important data representation that applies to many real-world domains. Many sets of network data such as e-mail networks, social networks, or internet traffic networks are best represented by a dynamic network due to the temporal component of the data. One important application in the domain of dynamic network analysis is anomaly detection. Here the task is to identify points in time where the network exhibits behavior radically different from a typical time, either due to some event (like the failure of machines in a computer network) or a shift in the network properties. This problem is made more difficult by the fluid nature of what is considered "normal" network behavior. The volume of traffic on a network, for example, can change over the course of a month or even vary based on the time of the day without being considered unusual. Anomaly detection tests using traditional network statistics have difficulty in these scenarios due to their Density Dependence: as the volume of edges changes the value of the statistics changes as well making it difficult to determine if the change in signal is due to the traffic volume or due to some fundamental shift in the behavior of the network. To more accurately detect anomalies in dynamic networks, we introduce the concept of Density-Consistent network statistics. On synthetically generated graphs anomaly detectors using these statistics show a a 20-400% improvement in the recall when distinguishing graphs drawn from different distributions. When applied to several real datasets Density-Consistent statistics recover multiple network events which standard statistics failed to find.

연구 동기 및 목표

• 시간이 지남에 따라 간선 수가 변하는 동적 네트워크에서 진정한 구조적 이상을 탐지하는 데 도전 과제를 해결한다.
• 기존의 네트워크 통계량(예: 응집계수, 정도 분포)이 밀도에 의존하므로 네트워크 크기가 변할 경우 이상 탐지에 신뢰할 수 없다는 점을 규명한다.
• 간선 수 변화에 불변인 네트워크 통계량의 원칙적인 프레임워크를 개발하여 네트워크 행동 측정의 일관성을 확보한다.
• 이론과 실험을 통해 밀도일관성 통계량이 의미 있는 구조적 이동을 탐지하는 데 기존의 밀도의존 통계량보다 뛰어나다는 것을 입증한다.
• 간선 분포의 변화를 총 간선 수의 변화와 분리함으로써, 통신 급증이나 행동 변화와 같은 중요한 네트워크 이벤트를 탐지할 수 있도록 한다.

제안 방법

• 간선 수의 균일한 스케일링에 대해 통계량이 변화하지 않는 성질을 밀도일관성으로 정의한다.
• 세 가지 새로운 통계량을 제안한다: 질량 이동(간선 분포의 변화를 측정), 정도 이동(정점 정도 분포의 변화를 측정), 삼각형 확률(지역 응집도 확률의 변화를 측정).
• 각 통계량을 간선 수에 영향을 받지 않는 정규화된 측정치로 공식화하여 간선 확률 분포의 변화를 반영한다.
• 정상 시간 단계에서 구축한 귀무분포를 기반으로 가설 검정을 수행하여 검정 통계량이 유의미하게 이격될 경우 이상을 경고한다.
• 이상 시간 단계에서 가장 변화가 큰 네트워크 구성 요소를 식별하기 위해 부분그래프 분해를 적용하여 국소적 구조적 변화에 집중한다.
• 합성 그래프(알려진 분포 이동이 있는 경우)와 실제 데이터셋(Enron 이메일, 학생 페이스북 그룹, 대학 페이스북 그룹)을 모두 사용하여 성능를 비교한다.

실험 결과

연구 질문

• RQ1 네트워크 간선 수가 시간에 따라 변할 경우 기존의 네트워크 통계량이 이상 탐지에 얼마나 실패하는가?
• RQ2 간선 수 변화에 불변이면서도 의미 있는 구조적 이동을 여전히 포착할 수 있는 네트워크 통계량을 설계할 수 있는가?
• RQ3 밀도일관성 통계량은 합성 및 실제 동적 네트워크에서 알려진 이상을 탐지하는 데 밀도의존 통계량과 어떻게 비교되는가?
• RQ4 밀도일관성 통계량은 이상 시간 단계 동안 극적인 구조적 변화를 겪은 하위그래프를 더 잘 식별하는가?
• RQ5 이러한 통계량은 기존 이상 탐지 방법이 간과하는 실세계 네트워크 이벤트—예를 들어 계절 활동 또는 주요 통신 급증—을 회복할 수 있는가?

주요 결과

• 밀도일관성 통계량(Mass Shift, Degree Shift, Triangle Probability)이 네트워크 간선 수의 변화에 불변임을 증명하여 다양한 크기의 네트워크에서 안정적인 측정이 가능하다.
• 합성 실험에서 밀도일관성 통계량을 사용한 이상 탐지기는 기존의 밀도의존 통계량을 사용한 경우보다 분포 이동 탐지에서 재현율이 20–400% 향상되었다.
• 실제 데이터셋에서 밀도일관성 통계량은 학기 시작, 공휴일, 봄 방학과 같은 주요 네트워크 이벤트를 탐지한 반면, 밀도의존 통계량은 주로 간선 수 변화만으로 시간 단계를 경고했다.
• 하위그래프 분석 결과, 밀도일관성 통계량이 탐지한 이상은 새로운 통신 패턴과 같은 극적인 국소적 구조적 변화를 포함한 반면, 밀도의존 통계량이 경고한 것은 국소적 변화가 거의 없었다.
• 밀도의존 통계량이 경고했지만 밀도일관성 통계량이 경고하지 않은 시간 단계는 주로 전반적인 간선 수의 변동 때문이었으며, 실제 네트워크 구조의 행동 변화는 없었다.
• 제안된 통계량은 간선 확률의 변화가 가장 큰 하위그래프를 성공적으로 분리하여, 큰 동적 네트워크에서도 국소적 이상을 탐지할 수 있음을 확인했다.