[논문 리뷰] Graph Anomaly Detection with Unsupervised GNNs

Lingxiao Zhao, Saurabh Sawlani외 2명|arXiv (Cornell University)|2022. 10. 18.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 사용하는 엔드 투 엔드 그래프 수준 이상 탐지 모델인 GLAM을 제안한다. 이 모델은 평균 풀링과 새로운 MMD-풀링 전략을 통해 점 이상 탐지와 분포 이상 탐지를 동시에 수행한다. 레이블 없이도 비지도 모델 선택이 가능하여 15개의 실세계 데이터셋에서 이상 그래프를 탐지하는 데 있어 기존 모델들을 크게 앞서는 최고 성능을 달성한다.

ABSTRACT

Graph-based anomaly detection finds numerous applications in the real-world. Thus, there exists extensive literature on the topic that has recently shifted toward deep detection models due to advances in deep learning and graph neural networks (GNNs). A vast majority of prior work focuses on detecting node/edge/subgraph anomalies within a single graph, with much less work on graph-level anomaly detection in a graph database. This work aims to fill two gaps in the literature: We (1) design GLAM, an end-to-end graph-level anomaly detection model based on GNNs, and (2) focus on unsupervised model selection, which is notoriously hard due to lack of any labels, yet especially critical for deep NN based models with a long list of hyper-parameters. Further, we propose a new pooling strategy for graph-level embedding, called MMD-pooling, that is geared toward detecting distribution anomalies which has not been considered before. Through extensive experiments on 15 real-world datasets, we show that (i) GLAM outperforms node-level and two-stage (i.e. not end-to-end) baselines, and (ii) model selection picks a significantly more effective model than expectation (i.e. average) -- without using any labels -- among candidates with otherwise large variation in performance.

연구 동기 및 목표

• 그래프 데이터베이스에서 그래프 수준 이상 탐지에 대한 엔드 투 엔드 GNN 기반 모델의 부족을 해결한다.
• 레이블가 없는 상황에서 딥 GNN의 비지도 모델 선택 문제를 다루며, 이는 중요하지만 아직 탐색이 부족한 분야이다.
• 노드 임베딩 분포가 비정상적인 그래프를 탐지하기 위해 최신의 MMD-풀링 메커니즘을 설계한다. 이는 점 이상 탐지와 보완된다.
• MMD-풀링과 비지도 모델 선택을 조합함으로써 지표가 없는 상황에서도 탐지 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 전체 그래프를 처리하여 그래프 수준 임베딩을 생성하는 GNN 기반 엔드 투 엔드 모델인 GLAM을 제안한다.
• 노드 수준 이상 탐지(점 이상)를 위해 노드 표현을 집계하는 평균 풀링을 사용한다.
• 최대 평균 차이(MMD) 기반의 새로운 풀링 전략인 MMD-풀링을 도입하여 그래프 간 노드 임베딩 분포를 비교함으로써 분포 이상을 탐지한다.
• 정상 그래프의 임베딩이 유사하고 이상 그래프는 분리되도록 유도하는 대비 목적함수를 사용해 모델을 훈련한다.
• 레이블가 없는 데이터를 요구하지 않는 내부 평가 지표를 활용한 비지도 모델 선택(UMS)을 구현한다. 이 지표는 분리된 표현 학습에서 유도된 것이다.
• 크기, 노드 속성, 간선 가중치, 레이블 유형이 다양한 그래프 데이터베이스에 모델을 적용하여 구조적 이질성에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 레이블 없이도 엔드 투 엔드 GNN 기반 모델이 그래프 수준 이상 탐지에 효과적으로 기여할 수 있는가?
• RQ2 기존의 풀링 방법과 비교해 MMD-풀링은 그래프 데이터베이스에서 분포 이상 탐지에 얼마나 효과적인가?
• RQ3 레이블가 없는 상황에서 비지도 모델 선택은 깊이 있는 GNN 기반 이상 탐지기의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 평균 풀링을 통한 점 이상 탐지와 MMD-풀링을 통한 분포 이상 탐지를 조합하면 전체 탐지 성능이 향상되는가?

주요 결과

• GLAM은 15개의 실세계 데이터셋에서 노드 수준 및 이중 단계 기반의 기준 모델들을 크게 앞서며 그래프 수준 이상 탐지에서 뛰어난 성능을 보였다.
• 제안된 MMD-풀링 전략은 비정상적인 노드 임베딩 집합을 가진 그래프—즉, 분포 이상—를 효과적으로 포착하여 점 이상 탐지만을 고려하는 것 이상의 탐지 성능을 향상시켰다.
• 비지도 모델 선택은 레이블이 없더라도 하이퍼파라미터 후보들 중 평균 성능보다 유의미하게 높은 성능을 보이는 모델 구성 요건을 일관되게 식별했다.
• MMD-풀링과 비지도 모델 선택의 조합은 성능 향상에 상당한 기여를 하였으며, GLAM은 다양한 데이터셋에서 최고 성능을 달성했다.
• 모델은 다양한 그래프 크기, 노드 속성, 간선 가중치, 레이블 유형을 가진 데이터셋 간에도 잘 일반화되어 있어 구조적 이질성에 강건함을 보였다.
• https://github.com/sawlani/GLAM에서 코드와 데이터셋을 오픈소스로 제공함으로써 재현성과 비지도 그래프 수준 이상 탐지 분야의 향후 연구를 지원한다.