[논문 리뷰] GADBench: Revisiting and Benchmarking Supervised Graph Anomaly Detection

Jianheng Tang, Fengrui Hua외 3명|arXiv (Cornell University)|2023. 06. 21.

Advanced Graph Neural Networks인용 수 19

한 줄 요약

GADBench는 29개 모델(트리 앙상블 및 GNN 포함)을 10개의 실제 데이터셋에 걸쳐 비교하는 최초의 종합 감독 그래프 이상 탐지 벤치마크를 수행합니다. 간단한 이웃 집계(neighborhood aggregation)를 사용하는 트리 앙상블이 종종 GNN보다 우수하다는 것을 보여주고, 특화된 GNN의 경우 하이퍼파라미터 튜닝이 중요함을 시사합니다.

ABSTRACT

With a long history of traditional Graph Anomaly Detection (GAD) algorithms and recently popular Graph Neural Networks (GNNs), it is still not clear (1) how they perform under a standard comprehensive setting, (2) whether GNNs can outperform traditional algorithms such as tree ensembles, and (3) how about their efficiency on large-scale graphs. In response, we introduce GADBench -- a benchmark tool dedicated to supervised anomalous node detection in static graphs. GADBench facilitates a detailed comparison across 29 distinct models on ten real-world GAD datasets, encompassing thousands to millions ($\sim$6M) nodes. Our main finding is that tree ensembles with simple neighborhood aggregation can outperform the latest GNNs tailored for the GAD task. We shed light on the current progress of GAD, setting a robust groundwork for subsequent investigations in this domain. GADBench is open-sourced at https://github.com/squareRoot3/GADBench.

연구 동기 및 목표

• 정적 속성 그래프에서 감독된 이상치 노드 탐지를 위한 다양한 모델의 성능 평가.
• 데이터셋 선택, 측정 지표, 학습 분할, 하이퍼파라미터 튜닝을 다루는 공정하고 포괄적인 벤치마킹 프로토콜 제공.
• 대규모 그래프에서의 클래식 머신 러닝 기법, 표준 GNN, GAD를 위한 특화 GNN, 이웃 집계가 있는 트리 앙상블의 비교

제안 방법

• 클래식 방법, 표준 GNN, GAD를 위한 특화 GNN, 이웃 집계가 있는 트리 앙상블(RF-Graph 및 XGB-Graph)을 포함해 세 범주의 29개 모델을 구성합니다.
• 노드가 수천에서 수백만에 이르는 10개의 실제 GAD 데이터셋을 사용하여 전적으로 감독 학습 및 반감독 설정을 평가합니다.
• 데이터 분할을 표준화합니다(분할이 제공되지 않으면 40/20/40; 반감독의 경우 100-레이블 예산(양성 20, 음성 80)을 10개 무작위 분할로 고정합니다).
• AUROC, AUPRC(평균 정밀도), Rec@K(K = 테스트 세트의 이상치 수)로 평가하고 실행 시간과 메모리를 보고합니다.
• 공정성을 위해 랜덤 탐색을 통한 하이퍼파라미터 튜닝을 수행합니다; 기본값 vs 튜닝된 성능을 비교합니다.
• 이웃 집계 기반 트리 앙상블(RF-Graph, XGB-Graph)을 분석하여 GNN 대비 효율성과 정확도를 정량화합니다.

실험 결과

연구 질문

• RQ1 감독 GAD 모델(이웃 집계가 있는 트리 앙상블 포함)이 다양한 실제 그래프에서 표준 및 특화 GNN과 어떻게 비교되는가?
• RQ2 간단한 이웃 집계가 있는 트리 앙상블이 최신 GAD 맞춤형 GNN보다 정확도와 효율성 면에서 우수한가?
• RQ3 GAD 특화 GNN의 하이퍼파라미터 튜닝이 성능에 어떤 영향을 주며 어떤 조건에서 경쟁력이 생기는가?
• RQ4 데이터셋의 특징(예: 특징 유형, 차수 분포, 불균형)이 GADBench의 모델 성능에 어떤 영향을 미치는가?
• RQ5 귀납적(Inductive) 대 변환적(Transductive) 설정 및 이질 그래프에서 모델의 성능은 어떠한가?

주요 결과

• 이웃 집계가 있는 트리 앙상블(RF-Graph, XGB-Graph)이 대부분의 지표와 데이터셋에서 지속적으로 다른 모델을 능가합니다.
• 대부분의 표준 GNN은 하이퍼파라미터가 튜닝되지 않으면 GAD 작업에서 성능이 저조하며, 일부 예외로 GraphSAGE는 튜닝 시 경쟁력이 될 수 있습니다.
• GAD를 위한 특화 GNN은 하이퍼파라미터 튜닝으로 개선되지만 일반적으로 더 많은 학습 시간과 메모리를 요구하고, 이득은 데이터셋에 따라 달라지며, 튜닝된 BWGNN은 특정 데이터셋에서 RF-Graph/XGB-Graph를 능가할 수 있습니다.
• 반감독 설정에서 RF-Graph와 XGB-Graph는 AUPRC 및 Rec@K에서 눈에 띄는 이점을 보이며, 라벨 희소하에서 탑-k 이상 탐지의 강점을 강조합니다.
• 일부 데이터셋(DGraph-Fin 등)에서 모든 방법이 극심한 불균형과 구별하기 어려운 노드 특성으로 어려움을 겪는 경우가 있어 데이터셋에 의한 한계를 시사합니다.
• RF-Graph와 XGB-Graph에서 이웃 집계의 두 계층이 일반적으로 최적 성능에 충분하며, 더 많은 계층은 수익 감소를 가져옵니다.