[논문 리뷰] A point process model for rare event detection

Santhosh Narayanan, Carsten Maple외 1명|arXiv (Cornell University)|2022. 09. 11.

Point processes and geometric inequalities인용 수 6

한 줄 요약

이 논문은 이벤트 시퀀스의 시간적 의존성을 활용하여 희귀 사건 탐지에 적합한 Hawkes 점과정 모델을 제안한다. 기존의 로지스틱 회귀와 같은 전통적 기계학습 분류기보다 우수한 성능을 보이며, 과거 이벤트에 의한 집중과 자극 효과를 역사에 의존하는 강도 함수로 모델링함으로써 예측 성능을 향상시키고, 전자상거래 거래 데이터에서 사기 행위의 역학에 대한 해석 가능한 통찰을 제공한다.

ABSTRACT

Detecting rare events, those defined to give rise to high impact but have a low probability of occurring, is a challenge in a number of domains including meteorological, environmental, financial and economic. The use of machine learning to detect such events is becoming increasingly popular, since they offer an effective and scalable solution when compared to traditional signature-based detection methods. In this work, we begin by undertaking exploratory data analysis, and present techniques that can be used in a framework for employing machine learning methods for rare event detection. Strategies to deal with the imbalance of classes including the selection of performance metrics are also discussed. Despite their popularity, we believe the performance of conventional machine learning classifiers could be further improved, since they are agnostic to the natural order over time in which the events occur. Stochastic processes on the other hand, model sequences of events by exploiting their temporal structure such as clustering and dependence between the different types of events. We develop a model for classification based on Hawkes processes and apply it to a dataset of e-commerce transactions, resulting in not only better predictive performance but also deriving inferences regarding the temporal dynamics of the data.

연구 동기 및 목표

• 금융 사기, 시스템 장애, 사이버 침입과 같은 희귀하지만 고영향을 미치는 사건을 탐지하는 데 도전하는 것.
• 시간적 구조를 통합함으로써 불균형 데이터셋에서 기계학습 성능을 향상시키는 프레임워크를 개발하는 것.
• Hawkes 과정과 같은 점과정 모델이 기존 분류기보다 시간적 집중과 의존성을 더 잘 포착할 수 있음을 보여주는 것.
• 모델 매개변수 추정을 통해 희귀 사건의 역학에 대한 해석 가능한 통찰을 제공하는 것.

제안 방법

• 저자들은 이벤트 발생의 강도를 표현하기 위해 표시된 Hawkes 과정 모델을 사용하며, 이 강도는 배경 빈도와 과거 이벤트에 의한 자극에 따라 달라진다.
• 모델은 매개변수 α(자극 강도), β(감쇠 비율), δm|z(배경 표시 확률)를 사용하는 역사에 의존하는 강도 함수를 사용하여 시간적 의존성을 포착한다.
• 자극 확률 행렬 γr→c는 유형 r의 이벤트가 유형 c의 이벤트를 유도할 가능성을 정량화하며, 이는 이종 간 자극 모델링을 가능하게 한다.
• 최대우도추정법을 사용하여 모델 매개변수를 추정하며, 통계적 안정성을 확보하기 위해 95% 신뢰구간을 제공한다.
• 성능 평가에는 불균형 데이터셋에 적합한 정밀도-재현율 곡선 아래 면적(AUPRC)을 사용한다.
• Hawkes 과정과 로지스틱 회귀 예측을 융합하는 모델을 탐색하여 상호보완적인 강점을 활용한다.

실험 결과

연구 질문

• RQ1 시간적 의존성을 명시적으로 고려하는 점과정 모델이 기존 기계학습 분류기보다 희귀 사건 탐지 성능을 향상시킬 수 있는가?
• RQ2 Hawkes 과정 모델의 매개변수는 실제 데이터에서 희귀 사건의 시간적 역학을 어떻게 반영하는가?
• RQ3 과거 이벤트에 의한 자극 효과를 모델링함으로써 불균형 사기 탐지에서 예측 성능이 얼마나 향상되는가?
• RQ4 추정된 매개변수로부터 도출되는 통찰은 사기 거래의 집중성과 지속성에 대해 무엇을 시사하는가?
• RQ5 기존 분류기와 시간적 점과정 모델을 융합하면 개별 모델보다 더 높은 성능을 달성할 수 있는가?

주요 결과

• Hawkes 과정 모델은 테스트 세트에서 로지스틱 회귀보다 더 높은 정밀도-재현율 곡선 아래 면적을 기록하여 뛰어난 예측 성능을 보였다.
• 자극 요인 α는 95% 신뢰구간 (1.63, 8.41)을 가지며, 과거 이벤트에 대한 강한 의존성을 나타내어 사기 사건이 이전 발생에 의해 크게 영향을 받음을 의미한다.
• 감쇠 비율 β는 95% 신뢰구간 (0.21, 0.33)을 가지며, 자극 효과가 최소 44분 동안 유지된 후에 크게 감쇠됨을 시사한다.
• 제품 코드 4의 경우 배경 사기 확률이 거의 0에 가까워, 이 유형의 모든 사기 거래는 이전 사건에 의해 유도되어야 함을 의미한다.
• 자극 확률 행렬을 통해 같은 유형의 이벤트는 서로가 서로를 유도할 가능성이 매우 높으며, 특히 제품 코드 5를 제외한 대각선 요소들은 1에 매우 가깝다.
• Hawkes 과정과 로지스틱 회귀 예측을 융합한 융합 모델은 개별 모델보다 뛰어난 성능을 보였으며, 이는 두 모델이 데이터 내 서로 다른 패턴을 포착하고 있음을 시사한다.