[논문 리뷰] ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks

Yulong Pei, Tianjin Huang외 2명|arXiv (Cornell University)|2020. 09. 30.

Advanced Graph Neural Networks참고 문헌 39인용 수 7

한 줄 요약

ResGCN는 속성 네트워크에서 이상 탐지에 적합한 주목사용 기반의 그래프 컬러션 네트워크이다. GCN를 통해 희소성과 비선형성을 포착하고, 입력에서 직접 깊이 있는 잔차 표현을 학습하며, 잔차 기반 주목을 사용해 이상 노드의 영향을 억제함으로써 과도한 스무딩을 줄이고 실제 데이터셋에서 탐지 정확도를 향상시킨다.

ABSTRACT

Effectively detecting anomalous nodes in attributed networks is crucial for the success of many real-world applications such as fraud and intrusion detection. Existing approaches have difficulties with three major issues: sparsity and nonlinearity capturing, residual modeling, and network smoothing. We propose Residual Graph Convolutional Network (ResGCN), an attention-based deep residual modeling approach that can tackle these issues: modeling the attributed networks with GCN allows to capture the sparsity and nonlinearity; utilizing a deep neural network allows to directly learn residual from the input, and a residual-based attention mechanism reduces the adverse effect from anomalous nodes and prevents over-smoothing. Extensive experiments on several real-world attributed networks demonstrate the effectiveness of ResGCN in detecting anomalies.

연구 동기 및 목표

• 구조적 정보와 속성 정보를 통합하여 속성 네트워크에서 이상을 탐지하는 데 도전하는 문제를 해결한다.
• 메시지 전파 과정에서 발생하는 희소성, 비선형성, 과도한 스무딩과 관련된 기존 방법의 한계를 극복한다.
• 재구성 오차에 의존하지 않고 입력에서 직접 잔차 정보를 모델링하는 깊이 있는 잔차 학습 프레임워크를 개발한다.
• 이상 노드에서 비정상 신호의 전파를 줄이기 위해 잔차 기반 주목 메커니즘을 도입한다.
• 학습된 잔차 표현을 기반으로 한 새로운 이상 노드 랭킹 전략을 제안하여 효과적인 탐지 성능을 확보한다.

제안 방법

• 속성 네트워크의 희소성과 비선형성을 포착하고 고차원 노드 상호작용을 모델링하기 위해 그래프 컬러션 네트워크(GCN)를 활용한다.
• 재구성 기반 잔차 추정에 의존하지 않고 입력 특성과 구조에서 직접 잔차 표현을 학습하기 위해 딥 네트워크를 활용한다.
• 학습된 잔차 정보를 기반으로 이웃 노드에 동적으로 주목 가중치를 할당하는 잔차 기반 주목 메커니즘을 도입한다.
• 메시지 전파 과정에서 이상 노드의 기여도를 낮추어 그로 인한 악영향을 완화하고 과도한 스무딩을 방지한다.
• 학습된 잔차 값의 크기를 기반으로 랭킹 전략을 적용하여 이상 노드를 식별하고 우선순위를 매긴다.
• 노드 속성과 구조의 재구성 손실에 더해 잔차 학습 목표를 통합하여, 재구성 손실과 함께 엔드 투 엔드로 비지도 학습 방식으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 재구성 기반 방법과 비교해 볼 때, 깊이 있는 잔차 학습 프레임워크는 속성 네트워크에서 이상 탐지 성능을 향상시키는가?
• RQ2 학습된 잔차를 기반으로 한 주목 메커니즘이 메시지 전파 과정에서 이상 노드의 영향을 어느 정도 줄이는가?
• RQ3 전통적인 GCN나 얕은 모델과 비교해 ResGCN는 실제 속성 네트워크에서 비선형성과 희소성을 얼마나 효과적으로 포착하는가?
• RQ4 잔차 기반 주목 메커니즘은 깊이 있는 GCN 아키텍처에서 과도한 스무딩을 방지하고 이상 노드의 가시성을 유지하는가?
• RQ5 실제 속성 네트워크 벤치마크에서 ResGCN는 최신 이상 탐지 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• ResGCN는 논문 기반, 사회적, 금융 네트워크를 포함한 다양한 실제 속성 네트워크에서 AUC 및 F1 스코어 측면에서 최신 기법들을 능가한다.
• 제안된 잔차 기반 주목 메커니즘이 메시지 전파 과정에서 이상 노드의 영향을 크게 줄여 성능의 안정성을 향상시킨다.
• 재구성 오차 기반 잔차 모델링의 한계를 피하기 위해 입력 데이터에서 직접 잔차 표현을 학습함으로써 더 높은 탐지 정확도를 달성한다.
• 광범위한 아블레이션 연구를 통해 GCN, 깊이 있는 잔차 학습, 주목 메커니즘 등 각 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.
• 다양한 종류의 속성 네트워크에 대해 강력한 일반화 능력을 보이며, 희소성과 높은 비선형성 조건에서도 높은 성능을 유지한다.
• 학습된 잔차 값의 크기를 기반으로 한 이상 랭킹 전략은 높은 정밀도로 상위 이상 노드를 효과적으로 식별한다.