[논문 리뷰] Data Discovery and Anomaly Detection Using Atypicality: Theory

Anders Høst-Madsen, Elyas Sabeti외 1명|arXiv (Cornell University)|2017. 09. 10.

Anomaly Detection Techniques and Applications인용 수 1

한 줄 요약

이 논문은 이상치성(적대성)을 데이터가 일반적인 데이터 모델보다 자신의 모델을 사용해 더 효율적으로 압축할 수 있을 때 정의하는 새로운 이론적 프레임워크를 제안한다. 최소 기술 길이(MDL) 원리와 보편적 소스 코딩을 활용하여 대규모 데이터 내 희귀하고 구조적으로 고유한 시퀀스를 탐지한다. ECG, 유전체학, 오디오 데이터에서 높은 민감도를 보이며 미세한 이상 현상까지 성공적으로 탐지하였다.

ABSTRACT

A central question in the era of 'big data' is what to do with the enormous amount of information. One possibility is to characterize it through statistics, e.g., averages, or classify it using machine learning, in order to understand the general structure of the overall data. The perspective in this paper is the opposite, namely that most of the value in the information in some applications is in the parts that deviate from the average, that are unusual, atypical. We define what we mean by 'atypical' in an axiomatic way as data that can be encoded with fewer bits in itself rather than using the code for the typical data. We show that this definition has good theoretical properties. We then develop an implementation based on universal source coding, and apply this to a number of real world data sets.

연구 동기 및 목표

• 대규모 데이터에서 가치 있고 희귀하며 구조적으로 이질적인 데이터를 식별하는 데 도전하는 데 초점을 맞추며, 일반적이거나 평균적인 패tern에만 집중하지 않는 것.
• 통계적 희귀성 이상의 내재된 구조적 유일성을 반영하는 '이상치성'의 이론적으로 탄탄한 정의를 개발하는 것.
• 기본 데이터 구조에 대한 사전 지식 없이도 이러한 이상치 시퀀스를 탐지할 수 있는 보편적이고 모델에 종속되지 않는 방법을 제공하는 것.
• 기본적인 이상 현상이 큰 일반 데이터 스트림 내에 통합된 실제 데이터셋에서 이 방법의 효과성을 입증하는 것.

제안 방법

• 이상치성의 공리적 정의: 시퀀스가 일반적인 데이터 모델보다 독립적으로 모델링할 때 더 적은 비트로 압축될 수 있을 경우에 그 시퀀스는 이상치로 간주된다.
• 최소 기술 길이(MDL) 원리를 이론적 기초로 삼아, 코드 길이의 차이를 통해 이상치성을 정량화하는 것.
• 보편적 소스 코딩 접근법(특히 CTW 알고리즘)을 구현하여 일반적 모델과 자가 모델링 가정 하에서의 시퀀스 코드 길이를 추정하는 것.
• 시간에 따라 코드 길이 차이(L(n))의 랜덤 워크를 적용하여 일반 패턴에서 크게 이탈한 세그먼트를 시각화하고 탐지하는 것.
• 대표적인 일반 데이터(예: 정상 ECG, 인간 유전자 DNA)로 모델을 훈련하고, 이질적 삽입물(예: 바이러스성 또는 박테리아성 DNA, 심박수 변동성 이상 세그먼트)이 포함된 데이터로 테스트하는 것.
• 누적 코드 길이 차이를 탐지 통계량으로 사용: 큰 이격은 이상치 시퀀스를 나타낸다.

실험 결과

연구 질문

• RQ1 통계적 희귀성 이상의 고유한 구조적 특성을 반영하는 이론적으로 탄탄하고 보편적인 이상치성 정의를 도출할 수 있는가?
• RQ2 기본 모델이 알려지지 않은 상황에서 MDL 기반 코드 길이 차이가 실제 데이터 내 알려진 이상치 시퀀스를 신뢰성 있게 탐지할 수 있는가?
• RQ3 표준 이상치 탐지 방법으로 쉽게 식별되지 않는 복잡한 이상 현상(예: 심실성 빈맥, 바이러스 삽입)을 탐지할 수 있는가?
• RQ4 이상 현상이 구조적으로 복잡하지만 통계적으로는 불가능성이 높지 않은 경우, 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 이상치성 기준은 시퀀스가 내재적으로 이상치일 확률이 1 미만이라는 이론적 조건을 충족하여 통계적 일관성을 확보한다.
• 인간 유전자 DNA에 삽입된 2킬로바이트의 페니모나 스테프릴로쿠스 DNA 조각을 조각을 제거하여 탐지 난이도를 높인 후에도 성공적으로 탐지하였다.
• 실제 바이러스 통합을 시뮬레이션한 인간 유전자 서열 내 HIV DNA 삽입을 탐지하였으며, 코드 길이 차이 플롯에서 뚜렷한 이격이 관찰되었다.
• ECG 데이터에서는 누적 코드 길이 차이에서의 뚜렷한 이격을 통해 심방성 빈맥 세그먼트를 국소화하였으며, 이는 표준 지표로는 쉽게 분류되지 않는 미세한 빈맥이라도 탐지할 수 있었다.
• 모든 테스트 데이터셋에서 코드 길이 차이(L(n))의 랜덤 워크가 이상치 영역을 명확히 부각시켜, 이 방법이 구조적 유일성에 매우 민감함을 확인하였다.
• 기존의 이상치 탐지 방법보다 내재된 구조적 이탈에 초점을 맞추어 통계적 이aus성보다 더 높은 성능을 발휘하여, 균일하게 분포된 데이터 내에서도 의미 있는 이상 현상을 탐지할 수 있었다.