[논문 리뷰] LUNAR: Unifying Local Outlier Detection Methods via Graph Neural Networks

Adam Goodge, Bryan Hooi외 2명|arXiv (Cornell University)|2021. 12. 10.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

LUNAR는 그래프 신경망 기반의 이상 탐지 방법으로, LOF 및 KNN과 같은 국소 이상 탐지 방법들을 공통의 메시지 전달 프레임워크에 통합하여 학습 가능한, 적응형 이웃 집합화를 가능하게 한다. 이는 표본 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 고정된 히ュ리스틱 기반 방법에 비해 이웃 수 초모수에 대해 훨씬 더 뛰어난 내성성을 보인다.

ABSTRACT

Many well-established anomaly detection methods use the distance of a sample to those in its local neighbourhood: so-called `local outlier methods', such as LOF and DBSCAN. They are popular for their simple principles and strong performance on unstructured, feature-based data that is commonplace in many practical applications. However, they cannot learn to adapt for a particular set of data due to their lack of trainable parameters. In this paper, we begin by unifying local outlier methods by showing that they are particular cases of the more general message passing framework used in graph neural networks. This allows us to introduce learnability into local outlier methods, in the form of a neural network, for greater flexibility and expressivity: specifically, we propose LUNAR, a novel, graph neural network-based anomaly detection method. LUNAR learns to use information from the nearest neighbours of each node in a trainable way to find anomalies. We show that our method performs significantly better than existing local outlier methods, as well as state-of-the-art deep baselines. We also show that the performance of our method is much more robust to different settings of the local neighbourhood size.

연구 동기 및 목표

• 그래프 신경망 기반의 공통 메시지 전달 프레임워크에 따라 다양한 국소 이상 탐지 방법—예: LOF, KNN, DBSCAN—을 통합하는 것.
• 기존의 국소 이상 탐지 방법이 데이터에 적응하지 못하고 고정된 히ュ리스틱과 초모수에 의존하는 점을 해결하기 위해 학습 가능성의 缺落을 보완하는 것.
• 이웃에서 정보를 동적으로 학습하여 집합화하는 데에 유의미한 성능 향상을 이끌어내는 새로운 트레이너블 이상 탐지 모델을 개발하는 것.
• 실제 표본 데이터셋에서 기존의 고전적 방법과 딥러닝 기반 기준 모델에 비해 뛰어난 성능과 내성성을 입증하는 것.

제안 방법

• LUNAR는 데이터 포인트를 그래프의 노드로 모델링하며, 각 포인트는 k개의 가장 가까운 이웃과 간선으로 연결된다.
• 학습 가능한 메시지 전달 레이어를 갖춘 그래프 신경망을 사용하여 이웃 노드의 특징을 통합하여 종합적인 이상 점수를 생성한다.
• 기존 방법이 고정된 규칙(예: k번째 거리 또는 밀도 비율)을 사용하는 데 반해, 이 모델은 모든 k개의 이웃에서 온 메시지를 처리하는 학습 가능한 집합화 메커니즘을 사용한다.
• 학습 안정성과 일반화 능력을 향상시키기 위해 부정 샘플링 전략—하위공간 변형 및 균일 샘플링—을 도입한다.
• 최종 이상 점수는 시그모이드 활성화 함수를 갖는 최종 레이어를 통해 계산되며, Adam 최적화를 사용한 평균 제곱오차 손실 함수로 학습된다.

실험 결과

연구 질문

• RQ1 LOF, KNN, DBSCAN과 같은 고전적 국소 이상 탐지 방법들이 그래프 신경망 기반의 일반화 가능한 메시지 전달 프레임워크에 통합될 수 있는가?
• RQ2 이웃 집합화 과정에 학습 가능한 파rameter를 도입함으로써 표본 데이터에서 이상 탐지 성능이 유의미하게 향상되는가?
• RQ3 LUNAR의 성능은 고전적 국소 이상 탐지 방법에 비해 이웃 수 초모수 k의 변화에 대해 얼마나 내성적인가?
• RQ4 다양한 부정 샘플링 전략이 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• SATELLITE 제외 전부의 데이터셋에서 LUNAR가 가장 높은 AUC 점수를 기록하였으며, HRSS, MI-V, THYROID에서는 통계적으로 유의미한 향상(p < 0.01)을 보였다.
• HRSS, MI-V, THYROID에서는 LUNAR가 두 번째로 우수한 방법보다 AUC 점수에서 10~30%포인트 높은 성능을 보였다.
• k가 2에서 200으로 증가할 때 LUNAR의 성능은 단지 3 AUC 포인트 감소하는 데 반해, LOF, KNN, DN2는 24~26 포인트 감소하여 훨씬 뛰어난 내성성을 입증했다.
• 하위공간 변형과 균일 샘플링의 조합이 대부분의 데이터셋에서 최고의 성능을 냈으며, SP만을 사용할 경우 작은 k에서 OPTDIGITS에서 성능이 떨어졌다.
• 메시지 집합화에 대해 깊이 있고 넓은 GNN 아키텍처를 사용할수록 성능 향상이 뚜렷했으며, 이는 아블레이션 연구를 통해 입증되었다.