[논문 리뷰] GraphSAC: Detecting anomalies in large-scale graphs

Vassilis N. Ioannidis, Dimitris Berberidis외 1명|arXiv (Cornell University)|2019. 10. 21.

Complex Network Analysis Techniques참고 문헌 29인용 수 22

한 줄 요약

GraphSAC는 대규모 속성 부여된 그래프에서 스케일러블하고 샘플링 기반의 이상 탐지 프레임워크로, 반복적 학습을 적용하기 전에 오염된 노드 서브셋을 그래프 인식 기반의 공감 기준으로 걸러내는 데 사용된다. 전역 속성과 연결에 의존을 최소화함으로써, 이상 탐지에 대해 강건성을 확보하며, 무작위 보행 기반, 군집형, 악성 공격 유형의 이상을 선형적인 한 번의 추출 복잡도와 강력한 이론적 보장을 바탕으로 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

A graph-based sampling and consensus (GraphSAC) approach is introduced to effectively detect anomalous nodes in large-scale graphs. Existing approaches rely on connectivity and attributes of all nodes to assign an anomaly score per node. However, nodal attributes and network links might be compromised by adversaries, rendering these holistic approaches vulnerable. Alleviating this limitation, GraphSAC randomly draws subsets of nodes, and relies on graph-aware criteria to judiciously filter out sets contaminated by anomalous nodes, before employing a semi-supervised learning (SSL) module to estimate nominal label distributions per node. These learned nominal distributions are minimally affected by the anomalous nodes, and hence can be directly adopted for anomaly detection. Rigorous analysis provides performance guarantees for GraphSAC, by bounding the required number of draws. The per-draw complexity grows linearly with the number of edges, which implies efficient SSL, while draws can be run in parallel, thereby ensuring scalability to large graphs. GraphSAC is tested under different anomaly generation models based on random walks, clustered anomalies, as well as contemporary adversarial attacks for graph data. Experiments with real-world graphs showcase the advantage of GraphSAC relative to state-of-the-art alternatives.

연구 동기 및 목표

• 기존 그래프 이상 탐지 방법이 전역 노드 속성과 연결에 의존하여 악성 공격자에 의해 손상될 수 있는 취약성을 해결하기 위해.
• 악성 조건 하에서 대규모 속성 부여된 그래프에서 이상을 탐지하기 위한 확장성 있고 효율적이며 강건한 방법을 개발하기 위해.
• 공감 기반 샘플링 전략을 통해 이상 노드의 영향을 최소화한 노드별 정상 클래스 분포를 추정하기 위해.
• 신뢰할 수 있는 이상 탐지에 필요한 추출 횟수에 대한 이론적 성능 보장을 제공하기 위해.
• 실제 그래프에서 다양한 이상 모델(군집형 및 악성 공격 포함)에 대해 뛰어난 탐지 성능을 입증하기 위해.

제안 방법

• GraphSAC는 전역 정보에 의존을 피하기 위해 그래프에서 노드 서브셋을 무작위로 샘플링한다.
• 이상 노드를 포함한 서브셋을 제거하기 위해 그래프 인식 기반 필터링 기준을 적용하여, 학습에 사용되는 것은 오직 '깨끗한' 샘플 뿐임을 보장한다.
• 각 필터링된 서브셋에 대해 반감독 학습(SSL) 모듈을 적용하여 노드별 정상 클래스 분포를 추정한다.
• 이 방법은 이상 노드가 SSL 작업에서 낮은 예측 성능을 보이므로 이를 식별할 수 있도록 원리를 활용한다.
• 집중 불등식을 사용하여 필요한 추출 횟수를 이론적으로 경계함으로써, 높은 확률로 수렴함을 보장한다.
• 추출은 계산적으로 효율적(간선 수에 비례하는 선형 복잡도)이며, 병렬 처리가 가능하므로 대규모 그래프에 대한 확장성이 보장된다.

실험 결과

연구 질문

• RQ1 노드 속성과 링크가 악성 공격에 의해 손상될 경우, 샘플링 기반 접근법이 대규모 속성 부여된 그래프에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 샘플된 서브셋에 대한 그래프 인식 기반 필터링은 이상 탐지에 있어 반감독 학습의 강건성을 어떻게 향상시키는가?
• RQ3 악성 오염이 존재하는 상황에서 신뢰할 수 있는 이상 탐지에 필요한 무작위 추출 횟수에 대해 어떤 이론적 경계를 설정할 수 있는가?
• RQ4 무작위 보행 기반 이상 탐지 및 군집형 이상을 포함한 다양한 이상 생성 모델에서 GraphSAC은 기존 최고 수준의 방법보다 어떻게 성능을 냅니다?
• RQ5 그래프 데이터를 대상으로 한 악성 공격 상황에서도 GraphSAC은 성능과 효율성을 어느 정도 유지하는가?

주요 결과

• GraphSAC는 벤치마크 그래프에서 최고 수준의 AUC 성능을 달성하였으며, 군집형 이상 탐지에서 Citeseer에서는 0.88 AUC, Cora에서는 0.97 AUC를 기록하여, GAE(0.50 및 0.58)와 AMEN(0.10 및 0.48)과 같은 베이스라인을 크게 능가했다.
• 무작위 보행 기반 이상 탐지에서는 이상 노드 수가 증가함에도 불구하고 GraphSAC는 높은 AUC(예: Citeseer에서 약 0.90)를 유지하지만, 경쟁 방법의 성능은 떨어졌다.
• GraphSAC는 경쟁 방법보다 훨씬 빠르며, 선형적인 한 번의 추출 복잡도와 병렬 처리 가능성 덕분에 대규모 그래프에서 런타임 성능이 수개월 수준으로 뛰어나다.
• 오염된 샘플에 최대 83개의 이상 노드가 포함되어도 GraphSAC는 강건성을 유지한다. 잘못 분류된 샘플 내 이상 노드 수(Kₘ)가 총 수치보다 훨씬 낮기 때문에 전체 AUC가 유지된다.
• GraphSAC의 성능는 공감 임계값 T와 반복 횟수 I의 값에 관계없이 안정적이며, 하이퍼파rameter 설정에 대해 낮은 민감도를 보인다.
• 이론적 분석을 통해 GraphSAC는 신뢰할 수 있는 이상 탐지에 경계된 수의 추출이 필요하며, 약한 가정 하에서도 수렴이 보장됨을 확인했다.