[논문 리뷰] Rayleigh Quotient Graph Neural Networks for Graph-level Anomaly Detection

Xiangyu Dong, Xingyi Zhang외 1명|arXiv (Cornell University)|2023. 10. 04.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 비정상 그래프와 정상 그래프 간의 내재된 스펙트럼적 차이를 캡처하기 위해 레일리 몫(Rayleigh Quotient)을 활용하는 새로운 스펙트럼 그래프 신경망인 RQGNN을 제안한다. 명시적 레일리 몫 학습(RQL)과 RQ-풀링을 갖춘 체비셰프 웨이블릿 GNN(CWGNN-RQ)을 결합함으로써 RQGNN은 10개의 실세계 데이터셋에서 최고의 기준 모델 대비 매크로-F1에서 6.74% 향상되고 AUC에서 1.44% 향상되는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph-level anomaly detection has gained significant attention as it finds applications in various domains, such as cancer diagnosis and enzyme prediction. However, existing methods fail to capture the spectral properties of graph anomalies, resulting in unexplainable framework design and unsatisfying performance. In this paper, we re-investigate the spectral differences between anomalous and normal graphs. Our main observation shows a significant disparity in the accumulated spectral energy between these two classes. Moreover, we prove that the accumulated spectral energy of the graph signal can be represented by its Rayleigh Quotient, indicating that the Rayleigh Quotient is a driving factor behind the anomalous properties of graphs. Motivated by this, we propose Rayleigh Quotient Graph Neural Network (RQGNN), the first spectral GNN that explores the inherent spectral features of anomalous graphs for graph-level anomaly detection. Specifically, we introduce a novel framework with two components: the Rayleigh Quotient learning component (RQL) and Chebyshev Wavelet GNN with RQ-pooling (CWGNN-RQ). RQL explicitly captures the Rayleigh Quotient of graphs and CWGNN-RQ implicitly explores the spectral space of graphs. Extensive experiments on 10 real-world datasets show that RQGNN outperforms the best rival by 6.74% in Macro-F1 score and 1.44% in AUC, demonstrating the effectiveness of our framework. Our code is available at https://github.com/xydong127/RQGNN.

연구 동기 및 목표

• 기존의 그래프 수준 이상 탐지 방법들이 비정상 그래프의 잠재적 스펙트럼적 성질을 캡처하지 못하는 경향이 있는 바, 공간 기반 GNN에 의존하는 경향이 있어 이를 해결하고자 한다.
• 특히 레일리 몫을 통한 스펙트럼 에너지 차이가 비정상 그래프를 식별하는 분류 신호로 기능할 수 있는지 조사하고자 한다.
• 레일리 몫을 명시적으로 인코딩하고 스펙트럼 표현을 암묵적으로 학습함으로써 이상 탐지 성능을 향상시키는 새로운 GNN 프레임워크를 개발하고자 한다.
• 伝통적인 풀링 방법의 한계를 극복하고자, 스펙트럼 인식 풀링 메커니즘인 RQ-풀링을 도입하고자 한다.
• 학습 중에 클래스 불균형 문제를 완화하기 위해 클래스 밸런스 포칼 손실을 사용하고자 한다.

제안 방법

• 각 그래프의 레일리 몫을 명시적으로 계산하고 학습 가능한 표현으로 내장하기 위해 레일리 몫 학습(RQL) 구성 요소를 제안한다.
• 체비셰프 다항식 근사법을 사용해 스펙트럼 도메인에서 그래프 신호를 모델링하면서도 레일리 몫을 노드 가중치로 통합하는 체비셰프 웨이블릿 GNN과 RQ-풀링(CWGNN-RQ)을 도입한다.
• 레일리 몫 기반의 주목적 가중치를 할당함으로써 스펙트럼 인식 그래프 수준 표현 학습을 가능하게 하는 새로운 풀링 메커니즘인 RQ-풀링을 활용한다.
• 명시적 RQL과 암묵적 CWGNN-RQ 표현을 연결(concatenation)하여 최종 그래프 임베딩을 구성한다.
• 그래프 수준 이상 탐지에서 장꼬리 데이터 분포 문제를 해결하기 위해 클래스 밸런스 포칼 손실을 활용함으로써 소수의 이상 클래스에 대한 모델의 강건성을 향상시킨다.
• 이론적 분석을 통해 그래프의 누적 스펙트럼 에너지가 레일리 몫과 동일하다는 것을 증명함으로써, 이상 탐지의 핵심 신호로 레일리 몫을 사용하는 것이 타당함을 입증한다.

실험 결과

연구 질문

• RQ1 레일리 몫이 비정상 그래프와 정상 그래프를 구분하는 분류 가능한 스펙트럼 특징으로 기능할 수 있는가?
• RQ2 비정상 그래프와 정상 그래프의 스펙트럼 에너지 분포는 어떻게 다를 수 있으며, 이러한 차이를 정량화하고 이상 탐지에 활용할 수 있는가?
• RQ3 RQL을 통한 레일리 몫의 명시적 통합과 RQ-풀링을 통한 암묵적 통합이 공간 기반 GNN에 비해 그래프 수준 이상 탐지 성능을 향상시키는가?
• RQ4 RQ-풀링은 평균 풀링이나 합 풀링과 비교해 스펙트럼 이상을 포착하는 데 얼마나 뛰어난가?
• RQ5 테스트 세트에서의 레일리 몫 분포를 모델 일반화 능력과 탐지 신뢰도의 Proxy로 사용할 수 있는가?

주요 결과

• 비정상 그래프의 레일리 몫 분포는 정상 그래프와 통계적으로 뚜렷하게 다름을 확인하였으며, 다양한 데이터셋과 샘플 크기에서 일관된 패tern을 보였다.
• 10개의 실세계 데이터셋에서 RQGNN은 최고의 기준 모델 대비 평균 매크로-F1 점수에서 6.74% 향상되고 AUC에서 1.44% 향상되었다.
• Ablation 연구 결과, RQL 및 RQ-풀링 구성 요소 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 평균적으로 매크로-F1에서 3.92% 감소하고 AUC에서 1.76% 감소하였다.
• RQ-풀링 메커니즘이 평균 풀링보다 뚜렷하게 뛰어난 성능을 보이며, 이상 탐지에서 스펙트럼 인식 풀링의 중요성을 입증하였다.
• 케이스 스터디 결과, 테스트 세트에서 올바르게 분류된 그래프들은 훈련 세트와 유사한 레일리 몫 분포를 유지함을 확인하였으며, 이는 RQGNN이 이상의 내재된 스펙트럼 경향을 학습하고 있음을 확인한다.
• 하이퍼파rameter 분석 결과, 은닉 차원(hidden dimension) 64, 너비(width) 4, 깊이(depth) 6가 여러 데이터셋에서 최적의 성능을 내며 안정적이고 고품질의 결과를 보장한다.