[논문 리뷰] Early Anomaly Detection by Learning and Forecasting Behavior.

Tong Zhao, Bo Ni외 2명|arXiv (Cornell University)|2020. 10. 20.

Network Security and Intrusion Detection참고 문헌 46인용 수 4

한 줄 요약

Eland는 행동 데이터 증강을 통해 데이터 부족 상황에서도 행동 예측과 이상 탐지의 공동 학습을 통해 성능을 향상시키는 초기 그래프 이상 탐지용 신규 프레임워크이다. 이는 사용자 행동을 예측하는 Seq2Seq 기반 예측기로 행동을 예측하며, 이를 바탕으로 행동 그래프를 증강하여 초기 단계의 제한된 데이터 상황에서도 이상 탐지 정확도를 향상시킨다.

ABSTRACT

Graph anomaly detection systems aim at identifying suspicious accounts or behaviors on social networking sites and e-commercial platforms. Detecting anomalous users at an early stage is crucial to minimize financial loss. When a great amount of observed behavior data are available, existing methods perform effectively though it may have been too late to avoid the loss. However, their performance would become unsatisfactory when the observed data are quite limited at the early stage. In this work, we propose Eland, a novel framework that uses behavior data augmentation for early anomaly detection. It has a Seq2Seq-based behavior predictor that predicts (i) whether a user will adopt a new item or an item that has been historically adopted and (ii) which item will be adopted. Eland exploits the mutual enhancement between behavior prediction and graph anomaly detection. The behavior graph is augmented with the predicted behaviors such that the graph-based anomaly detection methods can achieve better performance, and the detection results can support the behavior predictor in return. Experiments show that Eland improves the performance of a variety of graph-based anomaly detection methods. With the augmented methods in Eland, the performance of anomaly detection at an earlier stage is comparable with or better than non-augmented methods on a greater amount of observation.

연구 동기 및 목표

• 초기 단계에서 행동 데이터가 부족한 상황에서 그래프 이상 탐지 성능이 열 劣하는 문제를 해결한다.
• 사용자 행동 예측 모델링을 활용해 행동 그래프를 증강함으로써 초기 이상 탐지를 향상시킨다.
• 행동 예측과 이상 탐지 간의 상호 강화를 통해 정확도와 내구성을 향상시킨다.
• 심각한 손실이 발생하기 전에 이방 사용자를 조기에 탐지함으로써 재정적 손실을 줄인다.

제안 방법

• Seq2Seq 기반 행동 예측기로 사용자가 새로운 항목을 채택할지 또는 이미 채택한 항목을 다시 채택할지, 그리고 어떤 특정 항목을 채택할지 예측한다.
• 예측된 행동을 활용해 원본 행동 그래프를 증강하여 이상 탐지에 유리한 그래프 구조를 향상시킨다.
• 이상 탐지 결과가 행동 예측을 개선하도록 행동 예측기와 그래프 기반 이상 탐지 모델을 피드백 루프로 통합한다.
• 개선된 그래프 구조를 활용해 기존의 그래프 기반 이상 탐지 방법의 성능을 향상시킨다.
• 상호 강화를 활용한다: 향상된 행동 예측은 이상 탐지를 강화하고, 이상 탐지 결과는 행동 예측을 정밀하게 개선한다.
• 실제 사회적 플랫폼 및 전자상거래 플랫폼에 프레임워크를 적용하여 데이터 부족 상황에서의 초기 단계 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 관측 데이터가 제한된 상황에서 행동 예측이 초기 그래프 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 예측된 행동을 통한 데이터 증강이 그래프 기반 이상 탐지 성능을 어떻게 향상시키는가?
• RQ3 행동 예측과 이상 탐지 간의 상호 강화가 탐지 정확도를 얼마나 향상시키는가?
• RQ4 Eland는 관측 데이터가 훨씬 적은 상황에서 비증강 기반 방법과 비교해 유사하거나 더 뛰어난 탐지 성능을 달성할 수 있는가?

주요 결과

• Eland는 행동 데이터 증강을 통해 다양한 그래프 기반 이상 탐지 방법의 성능을 향상시킨다.
• 증강된 데이터를 활용할 경우, Eland는 더 많은 관측 데이터가 필요한 비증강 기반 방법과 비교해 조기에 유사하거나 더 뛰어난 탐지 성능을 달성한다.
• 행동 예측과 이상 탐지의 공동 학습은 상호 강화를 이끌어내어 양 측면의 성능을 모두 향상시킨다.
• 훈련 데이터가 부족한 상황에서도 효과적이므로, 실제 시스템에서의 초기 이상 탐지에 적합하다.