[논문 리뷰] On the Nature and Types of Anomalies: A Review.

Ralph Foorthuis|arXiv (Cornell University)|2020. 07. 30.

Anomaly Detection Techniques and Applications참고 문헌 245인용 수 8

한 줄 요약

이 논문은 데이터 유형, 관계의 기수성, 데이터 구조, 데이터 분포의 네 가지 데이터 중심 차원을 사용하여 이론적으로 타당하고 도메인 독립적인 데이터 이상 현상의 분류 체계를 제안한다. 이로 인해 3개의 일반 그룹, 9개의 기본 유형, 61개의 하위 유형이 도출된다. 이 프레임워크는 이상 탐지 알고리즘의 체계적 평가를 가능하게 하며, 局소 이상과 전반적 이상의 본질을 명확히 함으로써 설명 가능한 데이터 과학을 발전시킨다.

ABSTRACT

Anomalies are occurrences in a dataset that are in some way unusual and do not fit the general patterns. The concept of the anomaly is generally ill-defined and perceived as vague and domain-dependent. Moreover, no comprehensive and concrete overviews of the different types of anomalies have hitherto been published. By means of an extensive literature review this study therefore offers the first theoretically principled and domain-independent typology of data anomalies, and presents a full overview of anomaly types and subtypes. To concretely define the concept of the anomaly and its different manifestations the typology employs four dimensions: data type, cardinality of relationship, data structure and data distribution. These fundamental and data-centric dimensions naturally yield 3 broad groups, 9 basic types and 61 subtypes of anomalies. The typology facilitates the evaluation of the functional capabilities of anomaly detection algorithms, contributes to explainable data science, and provides insights into relevant topics such as local versus global anomalies.

연구 동기 및 목표

• 오랜 기간 동안 존재해 온 포괄적이고 이론적으로 탄탄한 데이터 이상 현상의 분류 체계 부족 문제를 해결하기 위해.
• 현재 이상 현상에 대한 이해에 내재된 모호성과 도메인 의존성 문제를 해결하기 위해.
• 기본적인 데이터 성질에 기반해 이상 현상을 체계적으로 분류하는 원칙적인 데이터 중심 프레임워크를 수립하기 위해.
• 구조화된 분류 체계를 제공함으로써 이상 탐지 알고리즘의 평가를 지원하기 위해.
• 지역 이상과 전반적 이상의 차이를 명확히 함으로써 설명 가능한 데이터 과학을 향상시키기 위해.

제안 방법

• 다양한 도메인에서 이상 유형을 식별하고 분류하기 위해 광범위한 문헌 고찰을 수행하였다.
• 데이터 유형, 관계의 기수성, 데이터 구조, 데이터 분포의 네 차원으로 구성된 프레임워크를 정의하였다.
• 이러한 차원을 활용하여 3개의 일반 이상 그룹, 9개의 기본 유형, 61개의 하위 유형을 체계적으로 유도하였다.
• 응용 도메인에 관계없이 독립적이고 데이터 중심 성질에 기반한 분류 체계를 설계하였다.
• 이 프레임워크는 이상 현상의 구조적 및 통계적 특성에 기반해 이상 현상을 분류할 수 있도록 한다.
• 특정 이상 하위 유형에 대한 알고리즘의 기능적 능력을 매핑함으로써 이상 탐지 알고리즘의 분석을 지원한다.

실험 결과

연구 질문

• RQ1 이론적이고 도메인 독립적인 방식으로 데이터 이상 현상을 체계적으로 분류할 수 있는 근본적인 차원은 무엇인가?
• RQ2 데이터 중심 성질에 기반해 이상 현상을 구체적인 유형과 하위 유형으로 어떻게 분류할 수 있는가?
• RQ3 제안된 분류 체계 내에서 지역 이상과 전반적 이상 간의 관계는 어떠한가?
• RQ4 제안된 프레임워크는 이상 탐지 알고리즘의 평가와 설명 가능성에 어떻게 기여하는가?
• RQ5 이 분류 체계는 복잡한 데이터 구조와 분포에서 이상 현상을 이해하는 데 어떤 함의를 지닌다?

주요 결과

• 이 연구는 네 가지 핵심 데이터 차원에 기반해 3개의 일반 그룹, 9개의 기본 유형, 61개의 하위 유형을 포함하는 포괄적인 분류 체계를 수립하였다.
• 이 프레임워크는 데이터 유형, 구조적 관계, 분포 패턴에 따라 이상 현상 간의 명확한 차이를 제공한다.
• 이 분류 체계는 특정 맥락에서의 편차를 보이는 지역 이상과 전체 데이터셋에서 희귀한 전반적 이상을 식별하고 분류하는 데 기여한다.
• 이 접근법은 다양한 이상 하위 유형에 걸쳐 이상 탐지 알고리즘의 기능 범위를 평가할 수 있는 표준화된 기반을 제공한다.
• 이 프레임워크는 모호하거나 모호한 이상 정의를 명확히 하는 원칙적인 분류 체계를 제공함으로써 설명 가능한 데이터 과학을 향상시킨다.
• 이 연구는 이상 현상이 단일한 형태가 아니라 다양한 구조적 및 통계적 표현을 보이며, 이를 체계적으로 분류할 수 있음을 입증한다.