[논문 리뷰] PIDForest: Anomaly Detection via Partial Identification

Parikshit Gopalan, Vatsal Sharan외 1명|arXiv (Cornell University)|2019. 12. 08.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

PIDForest는 특성 공간의 부분입방체에서의 희소성 기반으로 이상치를 식별하는 기하 측도인 PIDScore를 사용하는 새로운 이상 탐지 알고리즘입니다. 랜덤 포레스트 프레임워크 내에서 분산 기반 분할을 최적화하고, 희소성 기반의 리프 레이블링을 통해 12개의 실세계 데이터셋에서 6개의 벤치마크 방법보다 뛰어난 성능을 보이며, 노이즈와 관련 없는 특성에 대한 강건성과 임계 특성 범위를 통한 해석 가능성 있는 설명을 제공합니다.

ABSTRACT

We consider the problem of detecting anomalies in a large dataset. We propose a framework called Partial Identification which captures the intuition that anomalies are easy to distinguish from the overwhelming majority of points by relatively few attribute values. Formalizing this intuition, we propose a geometric anomaly measure for a point that we call PIDScore, which measures the minimum density of data points over all subcubes containing the point. We present PIDForest: a random forest based algorithm that finds anomalies based on this definition. We show that it performs favorably in comparison to several popular anomaly detection methods, across a broad range of benchmarks. PIDForest also provides a succinct explanation for why a point is labelled anomalous, by providing a set of features and ranges for them which are relatively uncommon in the dataset.

연구 동기 및 목표

• 대규모 시스템(예: 데이터 센터)에서 흔히 발생하는 고차원, 이질적, 레이블이 없는 데이터셋에서 이상치를 탐지하는 과제를 해결하기 위해.
• 알고리즘적 구현과는 독립적인 명확하고 기하학적인 이상치 정의를 제공하여 해석 가능성과 원칙적인 탐지 가능성을 확보하기 위해.
• Isolation Forest를 개선하여 관련 없는 특성과 노이즈에 강건한 분할 선택 전략을 통해 성능을 향상시키기 위해.
• 생성 모델링이나 거리 측도에 의존하지 않는 확장성 있고 효율적이며 해석 가능한 이상 탐지 방법을 개발하기 위해.
• 다양한 실세계 및 합성 데이터셋에서 다양한 초모수 설정 하에 뛰어난 성능과 안정성을 입증하기 위해.

제안 방법

• 주어진 점을 포함하는 모든 부분입방체에 대해 최대 희소성(부피/점 수)을 측정하는 기하 이상치 측도인 PIDScore를 제안합니다.
• 특성 분포의 분산을 최대화하도록 분할을 선택하는 방식으로, 정보가 많은 비균일한 특성에 우선순위를 두는 랜덤 포레스트인 PIDForest를 설계합니다.
• 각 리프 노드를 그가 대표하는 부분입방체의 희소성으로 레이블링하고, 점이 도달하는 모든 리프에서의 최대 희소성을 이상치 점수로 계산합니다.
• 특성의 마진 분산이 높은 특성들을 우선순위로 삼는 탐욕적이고 랜덤화된 트리 구축 과정을 통해 관련 특성의 탐지 능력을 향상시킵니다.
• 거리 측도에 의존하지 않는 부분입방체 기반의 밀도 추정 전략을 활용하여 단위에 민감하지 않으며, 혼합형 데이터에 적합합니다.
• 초모수(예: 버킷 수, 트리 수, 깊이)가 중간 수준 이상의 임계값을 초과하면 성능에 거의 영향을 주지 않는 강건성 메커니즘을 도입합니다.

실험 결과

연구 질문

• RQ1 PIDScore와 같은 기하학적 밀도 기반 이상치 측도가 알고리즘적 구현과 독립적인 원칙적이고 해석 가능한 이상치 정의를 제공할 수 있는가?
• RQ2 PIDForest의 분산 기반 분할 전략은 Isolation Forest의 무작위 또는 범위 기반 분할과 비교해 관련 없는 특성과 노이즈에 대해 얼마나 더 강건한가?
• RQ3 PIDForest는 다양한 실세계 및 합성 데이터셋에서 기존 이상 탐지 알고리즘보다 어느 정도 뛰어난 성능을 보이는가?
• RQ4 트리 수, 깊이, 버킷 수와 같은 핵심 초모수의 변화에 따라 PIDForest의 성능은 얼마나 안정적인가?
• RQ5 PIDForest는 특정 특성 범위가 이상치 점수에 기여하는 바를 식별함으로써 인간이 이해할 수 있는 의미 있는 설명을 제공할 수 있는가?

주요 결과

• PIDForest는 12개의 실세계 벤치마크 데이터셋 중 6개에서 최고 성능을 기록했으며, 6개의 유명한 이상 탐지 알고리즘보다 뛰어났고, 다른 방법은 3개 이하의 데이터셋에서만 1위를 기록했습니다.
• 알고리즘은 노이즈와 관련 없는 특성에 매우 강건하여, 관련 없는 특성이 최대 50%까지 존재하더라도 높은 성능을 유지했습니다.
• 초모수 민감도 분석 결과, k(버킷 수), m(샘플 수), t(트리 수), h(트리 깊이)의 성능이 중간 수준의 값에서 안정화되었으며, 이 임계값을 초과하면 변동이 거의 없었습니다.
• PIDForest는 높은 이상치 점수에 기여하는 특정 특성 범위를 식별함으로써 해석 가능한 설명을 제공하여, 실세계 모니터링 시스템에서 문제 진단에 유용성을 높였습니다.
• 특히 관련 없는 특성이나 노이즈가 많은 고차원, 이질적인 특성의 데이터셋에서 PIDForest는 Isolation Forest를 크게 능가했습니다.
• 합성 시계열 실험에서는 다양한 노이즈 수준과 데이터 분포 하에서도 높은 정밀도와 재현율을 유지하여, 강건성과 일반화 능력을 확인했습니다.