[논문 리뷰] Gaussian Process Subset Scanning for Anomalous Pattern Detection in Non-iid Data

William Herlands, Edward McFowland외 2명|arXiv (Cornell University)|2018. 04. 04.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 11

한 줄 요약

이 논문은 조건부 독립을 가정하지 않는 새로운 로그우도비율 통계량을 사용하여 상관관계가 있는 시공간 데이터에서 비정상적이고 비i.i.d.인 이상 패턴을 탐지하기 위해 가우시안 프로세스 서브셋 스캐닝(GPSS)과 가우시안 프로세스 이웃 스캐닝(GPNS)을 제안한다. 이 방법은 다중 데이터 스트림에서 미세하고 집단적인 이상 현상을 강력하고 해석 가능한 방식으로 탐지할 수 있게 하며, 오ピ오이드 사망, 311 신고, 학교 결석률과 같은 실제 데이터셋에서 기준 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Identifying anomalous patterns in real-world data is essential for understanding where, when, and how systems deviate from their expected dynamics. Yet methods that separately consider the anomalousness of each individual data point have low detection power for subtle, emerging irregularities. Additionally, recent detection techniques based on subset scanning make strong independence assumptions and suffer degraded performance in correlated data. We introduce methods for identifying anomalous patterns in non-iid data by combining Gaussian processes with novel log-likelihood ratio statistic and subset scanning techniques. Our approaches are powerful, interpretable, and can integrate information across multiple data streams. We illustrate their performance on numeric simulations and three open source spatiotemporal datasets of opioid overdose deaths, 311 calls, and storm reports.

연구 동기 및 목표

• 기존의 이방정도적이고 동일하게 분포된(i.i.i.d.) 데이터를 가정하는 이상 탐지 방법의 한계를 해결하여, 상관관계가 있는 실제 시스템에서 높은 거짓 양성률을 초래하는 문제를 해결한다.
• 개별 점 이상 탐지로는 감지되지 않는 낮은 점별 이상도를 가진, 미세하고 집단적인 이상 패턴을 탐지한다.
• 강한 독립성 가정에 의존하지 않고, 복잡한 상관관계를 가진 데이터에서 비정상적인 형태이거나 끊어진 이상 서브셋을 탐지할 수 있는 방법을 개발한다.
• 가우시안 프로세스 모델링을 통한 정상 동역학과 局소적 이상 패턴의 통합을 통해 도메인 지식을 통합함으로써, 정책적으로 관련성이 있는 해석 가능한 이상 탐지 기법을 제공한다.
• 반복적이고 일반화된 레일리 몫 최적화를 사용하여 비i.i.i.d. 데이터에서 NP-난이도의 서브셋 스캐닝 문제를 효율적이고 원리에 기반한 알고리즘으로 해결한다.

제안 방법

• 기존의 서브셋 스캐닝에서 조건부 독립을 가정하지 않는 비i.i.d. 데이터를 위한 새로운 로그우도비율(LLR) 통계량을 제안하며, 가우시안 프로세스(GP) 모델링을 통해 공분산 구조를 반영한다.
• 이상이 포함되지 않은 정상 동역학(null 모델)을 추정하기 위해 유효성 검증을 위한 GP 추론을 사용하여, 레이블이 없는 이상 데이터가 존재하는 상황에서도 강건성을 확보한다.
• GP-구조화된 LLR에서 유도된 조건부 최적 계수 β*를 기반으로 서브셋 소속을 순차적으로 업데이트함으로써 최적의 서브셋을 근사하는 새로운 반복 알고리즘을 적용한다.
• 공간적으로 연결된 영역과 같은 블록을 사용한 제약 최적화 변형을 도입하여 구조적 사전 지식를 반영하고, 비대각 공분산 항목을 고려한 수정된 βMAX 공식을 제안한다.
• 일반화된 레일리 몫(GRQ)을 대안 최적화 전략으로 활용하여, 수학적으로 탄탄한 방식으로 고성능 서브셋을 식별한다.
• 가우시안 프로세스 모델링과 서브셋 스캐닝을 융합하여, 복잡한 상관관계를 가진 데이터에서 시간, 공간, 다중 스트림 데이터에서 비정상적인 형태의 패턴을 탐지할 수 있도록 하며, 동시에 기저 공분산 구조를 공동으로 학습한다.

실험 결과

연구 질문

• RQ1 조건부 독립을 가정하지 않고 비i.i.d. 데이터에서 이상 패턴을 탐지할 수 있는 새로운 로그우도비율 통계량을 설계할 수 있는가?
• RQ2 가우시안 프로세스 모델링을 서브셋 스캐닝과 융합하여, 상관관계가 있는 데이터에서 미세하고 집단적인 이상 패턴의 탐지 능력을 향상시킬 수 있는가?
• RQ3 반복적 및 일반화된 레일리 몫 최적화 전략이 고차원적이고 상관관계가 있는 데이터에서 가장 이상적인 서브셋을 찾는 NP-난이도 문제를 효과적으로 근사할 수 있는가?
• RQ4 제안된 GP 기반 서브셋 스캐닝 방법은 다양한 복잡한 실제 데이터셋에서 이상을 탐지하는 데 기준 방법과 비교해 어떤가?
• RQ5 이 방법은 도메인 전문가의 이해와 일치하는 해석 가능하고 정책적으로 관련성이 있는 이상 탐지 결과를 어느 정도 제공할 수 있는가?

주요 결과

• GPSS 및 GPNS 방법은 2016년 1월~2월 기간 동안 맨해튼 서부 지역에서 발생한 일관된 이상 패턴을 학교 결석 데이터에서 성공적으로 탐지했으며, 이는 기준 방법에서는 놓친 바 있다.
• 탐지된 이상은 공식적으로 눈 날을 선언하지 않은 카테고리 5 폭설로 인해 출석이 방해된 것으로, 개별 점 이상 탐지로는 포착되지 않은 체계적 영향을 반영하고 있다.
• 기준 이상 탐지 방법은 일관된 이상 패턴을 탐지하지 못하고 연중 내내 산만하고 일관되지 않은 탐지 결과를 보였으며, 이는 i.i.d. 기반 접근 방식의 한계를 드러낸다.
• GPSS 방법은 오피오이드 과다 복용 사망, 311 신고, 폭설 보고 등 시뮬레이션 데이터와 실제 데이터셋에서 복잡한 상관관계와 비정상적인 패턴을 모델링함으로써 높은 탐지 능력을 확보했다.
• 반복적 및 GRQ 기반 최적화 전략은 NP-난이도 문제에 대한 확장 가능하고 효과적인 해결책을 제공하여 실제 데이터에의 적용을 가능하게 하였다.
• 이 방법은 도메인 전문가가 GP로 학습된 정상 동역학과 국소적 이상 영역을 검토하고 이해할 수 있도록 강력한 해석 가능성을 입증하였다.