[논문 리뷰] A linear time method for the detection of point and collective anomalies

Alexander T. M. Fisch, Idris Arthur Eckley외 1명|arXiv (Cornell University)|2018. 06. 05.

Advanced Statistical Methods and Models참고 문헌 34인용 수 20

한 줄 요약

이 논문은 평균과 분산의 변화를 동시에 모델링하여 시간 시리즈에서 점 이상현상과 집단 이상현상을 선형 시간에 검출하는 CAPA라는 알고리즘을 소개한다. 이는 이론적 일致성과 실증적 효율성을 확보하여 기존 방법보다 정확도와 속도에서 뛰어나며, 특히 케플러 병원성 행성 데이터에서 약한 별행성 transit 신호를 탐지하는 데 유리하다.

ABSTRACT

The challenge of efficiently identifying anomalies in data sequences is an important statistical problem that now arises in many applications. Whilst there has been substantial work aimed at making statistical analyses robust to outliers, or point anomalies, there has been much less work on detecting anomalous segments, or collective anomalies, particularly in those settings where point anomalies might also occur. In this article, we introduce Collective And Point Anomalies (CAPA), a computationally efficient approach that is suitable when collective anomalies are characterised by either a change in mean, variance, or both, and distinguishes them from point anomalies. Theoretical results establish the consistency of CAPA at detecting collective anomalies and, as a by-product, the consistency of a popular penalised cost based change in mean and variance detection method. Empirical results show that CAPA has close to linear computational cost as well as being more accurate at detecting and locating collective anomalies than other approaches. We demonstrate the utility of CAPA through its ability to detect exoplanets from light curve data from the Kepler telescope.

연구 동기 및 목표

• 시간 시리즈 데이터에서 점 이상현상과 집단 이상현상을 동시에 탐지하는 데 있어 기존의 격차를 메운다.
• 천문학적 광도곡선과 같은 대규모 데이터에 적합한 계산 효율성이 높은 방법을 개발한다.
• 평균과 분산의 변화 하에서 집단 이상현상 탐지의 이론적 일치성을 확보한다.
• 노이즈가 많은 실제 데이터에서 약한 신호, 예를 들어 별행성 transit을 더 정확하게 탐지한다.
• 주기성이 알려져 있지 않은 상황에서도 집단 이상현상과 고립된 이상치를 구분할 수 있는 통합 프레임워크를 제공한다.

제안 방법

• 평균과 분산의 변화를 동시에 모델링하는 펜alties가 포함된 비용 기반 방법인 CAPA(Collective And Point Anomalies)를 제안한다.
• 과적합을 방지하기 위해 log(n)^{1+δ} 비례의 페널티를 포함한 수정된 비용 함수를 사용한 동적 프로그래밍 기법을 적용한다.
• 안정성을 확보하기 위해 평균과 분산에 대한 강건한 추정기법을 사용하여 세그먼트 비용을 정의하고, 파ameter 추정에 제약 조건을 도입한다.
• 특히 짧거나 단일점 이상현상에 대해 추정 오차와 세그먼트 길이 편향을 제어하기 위해 보조 이벤트(E8, E9)를 도입한다.
• 유한 표본에서의 탐지 신뢰도를 확보하기 위해 이벤트 집합과 농도 부등식을 활용한 이론적 일치성 증명을 수행한다.
• 실제 응용에 더 유연성을 제공하기 위해 분산의 길이가 1인 전염성 변화도 허용하도록 알고리즘을 적응시켰다.

실험 결과

연구 질문

• RQ1 단일 방법으로 계산 오버헤드를 최소화하면서도 시간 시리즈에서 점 이상현상과 집단 이상현상을 효율적으로 탐지할 수 있는가?
• RQ2 노이즈가 많은 조건에서 평균과/또는 분산의 변화로 정의되는 집단 이상현상이 유한 표본에서 일관되게 탐지될 수 있는가?
• RQ3 점 이상현상의 포함이 집단 이상현상 탐지에 미치는 영향은 무엇이며, 두 종류의 이상현상을 효과적으로 분리할 수 있는가?
• RQ4 노이즈가 많은 광도곡선에서 약하고 일시적인 신호인 별행성 transit을 탐지할 때도 이 방법이 높은 정확도를 유지할 수 있는가?
• RQ5 log(n)^{1+δ} 페널티를 포함한 비용 기반 접근이 진정한 이상현상을 탐지하는 데 일관성을 보장하면서도 임의의 이상현상(false positives)을 방지할 수 있는가?

주요 결과

• CAPA는 거의 선형 시간 복잡도를 확보하여 케플러 광도곡선 4000만 건과 같은 대규모 데이터셋에 확장 가능하다.
• 특히 신호 대 잡음 비율이 낮은 환경에서 기존 방법에 비해 집단 이상현상의 탐지 및 국소화 정확도가 뛰어나다.
• CAPA와 널리 사용되는 펜alties가 포함된 비용 기반 방법에 대해 이론적 일치성이 입증되어 표본 크기가 증가함에 따라 신뢰할 수 있는 탐지가 가능하다.
• CAPA는 노이즈와 전역 이상치에 의해 가려진 약한 신호까지 포함하여 케플러 광도곡선 데이터에서 외계행성 transit을 성공적으로 탐지한다.
• 분산의 길이가 1인 전염성 변화를 포함시켜도 탐지 일관성이 손상되지 않아 실제 데이터의 복잡성에 대한 강건성이 향상된다.
• 실험 결과에 따르면 점 이상현상과 집단 이상현상 둘 다 존재할 경우, 표준 방법에 비해 CAPA가 탐지 능력과 정밀도 면에서 뛰어나다.