[논문 리뷰] Statistical Evaluation of Spectral Methods for Anomaly Detection in Networks

Tomilayo Komolafe, Valeria Quevedo외 2명|arXiv (Cornell University)|2017. 11. 04.

Complex Network Analysis Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 정적 네트워크에서 스펙트럼 이상 탐지 방법—卡방제(카이-제곱), L₁ 노름, 희소 주성분 분석(Sparse PCA)에 대한 통계적 평가를 제공하며, 분포 가정의 결함과 성능의 불안정성을 드러낸다. 본문에서는 카이-제곱 및 L₁ 노름 방법의 개선된, 임계값에 대해 강건한 버전을 제안하여, 이중 네트워크와 카운트 네트워크에서 기존 방법보다 뛰어난 성능을 보이며, 특히 희박한 연결성과 다양한 네트워크 크기 조건에서 유의미한 성능 향상을 이룬다.

ABSTRACT

Monitoring of networks for anomaly detection has attracted a lot of attention in recent years especially with the rise of connected devices and social networks. This is of importance as anomaly detection could span a wide range of application, from detecting terrorist cells in counter-terrorism efforts to phishing attacks in social network circles. For this reason, numerous techniques for anomaly detection have been introduced. However, application of these techniques to more complex network models is hindered by various challenges such as the size of the network being investigated, how much apriori information is needed, the size of the anomalous graph, among others. A recent technique introduced by Miller et al, which relies on a spectral framework for anomaly detection, has the potential to address many of these challenges. In their discussion of the spectral framework, three algorithms were proposed that relied on the eigenvalues and eigenvectors of the residual matrix of a binary network. The authors demonstrated the ability to detect anomalous subgraphs that were less than 1% of the network size. However, to date, there is little work that has been done to evaluate the statistical performance of these algorithms. This study investigates the statistical properties of the spectral methods, specifically the Chi-square and L1 norm algorithm proposed by Miller. We will analyze the performance of the algorithm using simulated networks and also extend the method's application to count networks. Finally we will make some methodological improvements and recommendations to both algorithms.

연구 동기 및 목표

• 정적 네트워크에서 스펙트럼 이상 탐지 방법에 대한 통계적 평가 부족 문제를 해결하기 위해.
• 특히 검정 통계량에 대한 분포 가정이 잘못된 기존 스펙트럼 알고리즘의 핵심적인 한계를 규명하기 위해.
• 네트워크 크기, 연결성, 모델 유형에 대해 강건한 실용적인 카이-제곱 및 L₁ 노름 알고리즘의 개선된 버전을 개발하기 위해.
• 이중 네트워크에서의 평가를 카운트 네트워크로 확장하여, 유전자 전사 및 통신 로그와 같은 실제 응용에서 흔한 네트워크 유형을 포함하기 위해.
• 역사적 데이터나 복잡한 파rameter 조정이 필요 없이, 실무자들이 신뢰할 수 있고 데이터 기반의 임계값을 제공하기 위해.

제안 방법

• 노드 수(128~1024개)와 연결 확률가 다양하게 설정된 에르되시-레니 및 창-류 무작위 네트워크 모델을 대상으로 광범위한 시뮬레이션 연구를 수행하였다.
• 카이-제곱 및 L₁ 노름 검정 통계량의 분포 행동을 이론적 카이-제곱 및 구름 분포와 비교하여 분석하였으며, 분위수 비교를 활용하였다.
• 네트워크 연결성과 크기 영향을 보정함으로써 희박한 네트워크에서 성능을 향상시킨 수정된 카이-제곱 통계량을 제안하였다.
• 현재 네트워크에만 의존하는 표준화된 L₁ 노름 통계량을 도입하여 이전의 역사적 데이터 의존성을 제거하고, 임계값 안정성을 향상시켰다.
• R-MAT 모델을 사용하여 가중치가 있는 비이진 간선 구조를 시뮬레이션함으로써 알고리즘의 카운트 네트워크 확장을 수행하였다.
• 다양한 네트워크 구성에서 탐지율과 위험 경고 비율을 평가하기 위해 경험 분포의 95번째 백분율을 신호 임계값으로 사용하였다.

실험 결과

연구 질문

• RQ1 스펙트럼 이상 탐지에서 사용되는 검정 통계량(카이-제곱 및 L₁ 노름)이 다양한 네트워크 모델과 크기에서 이론적 분포를 따르는가?
• RQ2 네트워크 연결성, 순서, 모델 유형이 스펙트럼 이상 탐지 알고리즘의 성능 및 신뢰성에 어떤 영향을 미치는가?
• RQ3 이력 데이터 의존성을 제거함으로써 L₁ 노름 알고리즘이 정적 네트워크에서 실용적으로 사용될 수 있는가?
• RQ4 카운트 네트워크에서 카이-제곱 및 L₁ 노름 방법은 실제 응용에서 흔한 네트워크 유형이지만 이전 연구에서 다루지 않은 분야에서 어떻게 성능을 발휘하는가?
• RQ5 카이-제곱 및 L₁ 노름 통계량에 대한 방법론적 개선이 다양한 네트워크 구성에서 더 안정적인 탐지와 낮은 위험 경고 비율을 이끌 수 있는가?

주요 결과

• 실제로 카이-제곱 검정 통계량은 희박한 네트워크에서 카이-제곱 분포를 따르지 않으며, 이는 신뢰할 수 없는 탐지 임계값을 초래한다.
• L₁ 노름 통계량은 구름 분포를 따르지 않으며, 탐지 성능이 비단조화롭게 나타나, 이상 노드 수가 증가함에 따라 탐지율이 최고점에 도달한 후 감소하는 경향을 보인다.
• L₁ 노름 알고리즘의 성능은 모델 불일치로 인해 심각하게 영향을 받으며, 잔차 행렬에서 고유값 군집화 현상이 발생하여 탐지율을 왜곡시킨다.
• 현재 네트워크에만 의존하는 제안된 표준화된 L₁ 노름 통계량은 위험 경고 비율을 감소시키고, 특히 m < n 조건에서 임계값 안정성을 향상시킨다.
• 개선된 카이-제곱 방법은 원래 수식 대비 희박한 네트워크에서 탐지 및 위험 경고 비율 성능이 유의미하게 향상된다.
• 카운트 네트워크에서는 m < n 조건에서 극단가치정리(Extreme Value Theorem)를 적용한 L₁ 노름이 원래 L₁ 노름 및 카이-제곱 방법보다 뛰어나며, 모든 테스트 네트워크 순서와 모델에서 위험 경고 비율이 0.01~0.04 수준으로 감소한다.