[论文解读] Graph Anomaly Detection with Unsupervised GNNs

Lingxiao Zhao, Saurabh Sawlani+2 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Graph Neural Networks被引用 13

一句话总结

本文提出 GLAM，一种基于图神经网络（GNNs）的端到端图级异常检测模型，通过平均池化和一种新颖的 MMD 池化策略，联合检测点异常和分布异常。该模型实现了最先进性能，能够在无标签的情况下实现无监督模型选择，显著优于基线方法，在 15 个真实世界数据集上检测异常图方面表现优异。

ABSTRACT

Graph-based anomaly detection finds numerous applications in the real-world. Thus, there exists extensive literature on the topic that has recently shifted toward deep detection models due to advances in deep learning and graph neural networks (GNNs). A vast majority of prior work focuses on detecting node/edge/subgraph anomalies within a single graph, with much less work on graph-level anomaly detection in a graph database. This work aims to fill two gaps in the literature: We (1) design GLAM, an end-to-end graph-level anomaly detection model based on GNNs, and (2) focus on unsupervised model selection, which is notoriously hard due to lack of any labels, yet especially critical for deep NN based models with a long list of hyper-parameters. Further, we propose a new pooling strategy for graph-level embedding, called MMD-pooling, that is geared toward detecting distribution anomalies which has not been considered before. Through extensive experiments on 15 real-world datasets, we show that (i) GLAM outperforms node-level and two-stage (i.e. not end-to-end) baselines, and (ii) model selection picks a significantly more effective model than expectation (i.e. average) -- without using any labels -- among candidates with otherwise large variation in performance.

研究动机与目标

• 解决图数据库中图级异常检测缺乏端到端 GNN 模型的问题。
• 应对深度 GNN 无监督模型选择的挑战，该问题至关重要但因缺乏标签而研究不足。
• 设计一种新颖的 MMD 池化机制，用于检测分布异常——即节点嵌入分布异常的图——以补充点异常检测。
• 证明将 MMD 池化与无监督模型选择相结合，可在不依赖真实标签的情况下显著提升检测性能。

提出的方法

• 提出 GLAM，一种基于 GNN 的端到端模型，通过处理整个图生成图级嵌入以实现异常检测。
• 使用平均池化捕获单个节点级别的异常（点异常），通过聚合节点表示实现。
• 引入 MMD 池化，一种基于最大均值差异（MMD）的新型池化策略，通过比较图之间节点嵌入的分布来检测分布异常。
• 使用对比损失函数进行模型训练，以促使正常图的嵌入相似，而异常图的嵌入相分离。
• 采用无监督模型选择（UMS），利用内部评估指标（源自解耦表示学习）实现，无需依赖标注数据。
• 将模型应用于具有不同规模、节点属性、边权重和标签类型的多样化图数据库，确保对结构异质性的鲁棒性。

实验结果

研究问题

• RQ1 是否能够通过无标签数据实现端到端 GNN 模型，有效检测图级异常？
• RQ2 MMD 池化在检测图数据库中分布异常方面，与标准池化方法相比表现如何？
• RQ3 在无标签条件下，无监督模型选择在多大程度上能提升深度 GNN 异常检测器的性能？
• RQ4 结合点异常检测（通过平均池化）与分布异常检测（通过 MMD 池化）是否能带来更优的整体检测性能？

主要发现

• GLAM 在 15 个真实世界数据集上显著优于节点级和两阶段基线方法，展现出图级异常检测的卓越性能。
• 所提出的 MMD 池化策略能有效捕捉分布异常——即具有异常节点嵌入集合的图——在点异常检测之外进一步提升了检测能力。
• 无监督模型选择始终能识别出性能显著优于超参数候选平均值的模型配置，即使在无标签条件下亦如此。
• MMD 池化与无监督模型选择的结合带来了显著的性能提升，GLAM 在多样化数据集上实现了最先进结果。
• 该模型在具有不同图大小、节点属性、边权重和标签类型的图数据集中均表现出良好泛化能力，显示出对结构异质性的鲁棒性。
• 在 https://github.com/sawlani/GLAM 开源发布代码和数据集，支持可复现性，并推动无监督图级异常检测的进一步研究。