[논문 리뷰] Distribution-Free Detection of Structured Anomalies: Permutation and Rank-Based Scans

Ery Arias-Castro, Rui M. Castro외 2명|arXiv (Cornell University)|2015. 08. 12.

Data-Driven Disease Surveillance참고 문헌 38인용 수 3

한 줄 요약

이 논문은 근본 분포가 알려져 있지 않은 경우 구조적 이상 탐지를 위한 두 가지 분포 자유 방법—순열 기반 및 순위 기반 스캔 통계량—을 제안한다. 자연 지수족에서, 정규분포 및 포아송 모형을 포함하여, 둘 다 오라클 스캔 검정에 비해 검정력 손실가 매우 미미함을 보여주며, 순위 스캔은 계산상의 이점과 이상치에 대한 강건성을 제공한다.

ABSTRACT

The scan statistic is by far the most popular method for anomaly detection, being popular in syndromic surveillance, signal and image processing, and target detection based on sensor networks, among other applications. The use of the scan statistics in such settings yields a hypothesis testing procedure, where the null hypothesis corresponds to the absence of anomalous behavior. If the null distribution is known, then calibration of a scan-based test is relatively easy, as it can be done by Monte Carlo simulation. When the null distribution is unknown, it is less straightforward. We investigate two procedures. The first one is a calibration by permutation and the other is a rank-based scan test, which is distribution-free and less sensitive to outliers. Furthermore, the rank scan test requires only a one-time calibration for a given data size making it computationally much more appealing. In both cases, we quantify the performance loss with respect to an oracle scan test that knows the null distribution. We show that using one of these calibration procedures results in only a very small loss of power in the context of a natural exponential family. This includes the classical normal location model, popular in signal processing, and the Poisson model, popular in syndromic surveillance. We perform numerical experiments on simulated data further supporting our theory and also on a real dataset from genomics.

연구 동기 및 목표

• 실제 적용 사례인 증상 감시 및 센서 네트워크와 같이 기본 분포가 알려져 있지 않은 경우 스캔 통계량을 校정하는 데 어려움이 존재하므로 이를 해결하고자 한다.
• 기본 데이터 분포에 대한 비모수적 가정을 필요로 하지 않는 전통적 스캔 검정의 대체 방법으로 분포 자유 방법을 개발하고자 한다.
• 이러한 비모수적 방법의 성능 손실을 진짜 기본 분포를 아는 오라클 스캔 검정에 비해 정량화하고자 한다.
• 특히 고차원 또는 이상치가 많은 설정에서 순위 기반 스캔 검정의 계산 효율성과 강건성의 이점을 입증하고자 한다.
• 시뮬레이션 데이터와 실제 유전체 데이터셋을 통한 수치 실험을 통해 이론적 결과를 검증하고자 한다.

제안 방법

• 기본 가설 하에서 데이터를 재표본 추출함으로써 순열 기반 校정을 사용하여 스캔 통계량의 기본 분포를 추정함으로써, 비모수적 가정 없이도 타당한 가설 검정이 가능하도록 한다.
• 원래 관측치를 그들의 순위로 대체한 후 스캔 통계량을 계산하는 순위 기반 스캔 검정을 제안함으로써 분포 자유 추론를 보장한다.
• 모든 관심 있는 연속된 간격(또는 영역)에 스캔 통계량을 적용하며, 각 간격에 대해 값(또는 순위)의 합을 계산하고 최대값을 통계량으로 삼는다.
• 극값 이론과 농도 부등식을 사용하여 기본 가설과 대립 가설 하에서 스캔 통계량의 渐近적 성질을 도출한다.
• 순위 스캔 검정의 p-값에 대한 이론적 경계를 설정하여, 대립 가설 하에서 p-값이 지수적으로 0으로 수렴함을 보여주며, 일致성을 확인한다.
• 데이터 크기에 기반한 한 번의 校정을 통해 순위 스캔 검정을 수행함으로써 반복적인 몬테카를로 시뮬레이션에 비해 계산 효율성을 높인다.

실험 결과

연구 질문

• RQ1 기본 분포가 알려져 있지 않은 경우, 특히 증상 감시나 센서 네트워크와 같은 환경에서 스캔 통계량을 어떻게 校정할 수 있는가?
• RQ2 기본 분포를 아는 오라클 스캔 검정에 비해 순열 기반 및 순위 기반 스캔 검정의 성능 손실은 어느 정도인가?
• RQ3 순위 기반 스캔 검정은 순열 기반 校정에 비해 이상치에 대한 강건성과 계산 효율성에서 이점이 있는가?
• RQ4 기본 분포가 알려져 있지 않은 상황에서 순위 기반 스캔 검정이 높은 통계적 검정력을 유지할 수 있는 조건은 무엇인가?
• RQ5 제안된 방법은 시뮬레이션 및 실제 데이터(예: 유전체 데이터)에서 이론적으로 타당하고 실증적으로 검증될 수 있는가?

주요 결과

• 순열 기반 스캔 검정은 정규분포 및 포아송 모형 하에서 오라클 스캔 검정과 거의 동일한 검정력을 보이며, 탐지 능력 손실이 매우 미미하다.
• 순위 기반 스캔 검정은 분포 자유이며, 특히 정규 위치 모형과 포아송 모형 하에서 오라클 검정에 비해 검정력 손실가 최소화된다.
• 순위 스캔 검정은 데이터 크기에 기반한 한 번의 校정만으로도 수행되므로, 반복적인 몬테카를로 시뮬레이션에 비해 계산상 훨씬 효율적이다.
• 이론적 분석 결과, 대립 가설 하에서 순위 스캔 검정의 p-값은 지수적으로 0으로 수렴함을 보여주며, 일치성의 확인이 가능하다.
• 시뮬레이션 데이터에 대한 수치 실험은 이론적 결과를 확인하며, 다양한 이상 구성 조건 하에서도 강건한 성능을 보였다.
• 실제 유전체 데이터셋에 대한 실증 검증을 통해 순위 기반 스캔 검정이 실제 이상 탐지 응용에서 실용성과 강건성을 갖춘다는 점을 입증하였다.