[论文解读] ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks

Yulong Pei, Tianjin Huang+2 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Graph Neural Networks参考文献 39被引用 7

一句话总结

ResGCN 是一种用于属性网络异常检测的新型图卷积网络，结合注意力机制。它通过 GCN 捕捉稀疏性和非线性，直接从输入学习深层残差表征，并利用基于残差的注意力机制抑制异常节点的影响，从而减轻过平滑问题，并在真实世界数据集上提升检测准确率。

ABSTRACT

Effectively detecting anomalous nodes in attributed networks is crucial for the success of many real-world applications such as fraud and intrusion detection. Existing approaches have difficulties with three major issues: sparsity and nonlinearity capturing, residual modeling, and network smoothing. We propose Residual Graph Convolutional Network (ResGCN), an attention-based deep residual modeling approach that can tackle these issues: modeling the attributed networks with GCN allows to capture the sparsity and nonlinearity; utilizing a deep neural network allows to directly learn residual from the input, and a residual-based attention mechanism reduces the adverse effect from anomalous nodes and prevents over-smoothing. Extensive experiments on several real-world attributed networks demonstrate the effectiveness of ResGCN in detecting anomalies.

研究动机与目标

• 通过整合结构信息和属性信息，解决在属性网络中检测异常的挑战。
• 克服现有方法在消息传递过程中因稀疏性、非线性和过平滑带来的局限性。
• 开发一种深度残差学习框架，直接从输入建模残差信息，而非依赖重建误差。
• 引入基于残差的注意力机制，以减少异常节点对异常信号传播的影响。
• 提出一种基于学习到的残差表征的新型异常排序策略，以实现有效的检测。

提出的方法

• 利用图卷积网络（GCN）建模高阶节点交互，捕捉属性网络中的稀疏性和非线性。
• 采用深度神经网络直接从输入特征和结构学习残差表征，避免依赖基于重建的残差估计。
• 引入基于残差的注意力机制，根据学习到的残差信息动态分配邻居的注意力权重。
• 该注意力机制在消息传递过程中降低异常节点的贡献，减轻其负面影响，防止过平滑。
• 应用基于学习到的残差值大小的排序策略，以识别并优先处理异常节点。
• 采用端到端无监督训练方式，结合节点属性和拓扑的重建损失，以及残差学习目标进行联合优化。

实验结果

研究问题

• RQ1 与基于重建的方法相比，深度残差学习框架是否能提升属性网络中的异常检测性能？
• RQ2 基于学习到的残差信息的注意力机制在多大程度上能减少异常节点在消息传递过程中的影响？
• RQ3 与传统 GCN 或浅层模型相比，ResGCN 在真实世界属性网络中捕捉非线性和稀疏性的能力如何？
• RQ4 基于残差的注意力机制是否能防止过平滑，并在深层 GCN 架构中保持异常节点的可区分性？
• RQ5 在真实世界属性网络基准数据集上，ResGCN 与最先进异常检测方法相比表现如何？

主要发现

• ResGCN 在多个真实世界属性网络（包括引文网络、社交网络和金融网络）上，AUC 和 F1 分数均优于最先进方法。
• 所提出的基于残差的注意力机制显著降低了异常节点在消息传递过程中的影响，提升了模型鲁棒性。
• 通过直接从输入数据学习残差表征，模型实现了更高的检测准确率，避免了基于重建误差的残差建模的局限性。
• 大量消融实验验证了每个组件（GCN、深度残差学习、注意力机制）对性能提升的贡献。
• ResGCN 在多种属性网络类型中表现出强泛化能力，在稀疏和高度非线性环境下仍保持高性能。
• 基于学习到的残差值的异常排序策略能有效识别高精度的前几名异常节点。