[논문 리뷰] Anomaly Detection in the Presence of Missing Values

Thomas G. Dietterich, Tadesse Zemicheal|arXiv (Cornell University)|2018. 09. 05.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 9

한 줄 요약

이 논문은 결측치가 존재하는 상황에서 이상 탐지에 대한 다섯 가지 전략을 제안하고 평가한다: 평균 보간, MAP 보간, 특성 백킹(감소), 밀도 추정기용 근사화, 트리 기반 모델용 비율 분포. 실험 결과, MAP 보간과 비율 분포가 다른 방법보다 뛰어난 성능을 보였으며, EGMM에 대해서는 근사화가 뛰어난 결과를 내어 각 알고리즘에 맞는 권고 사항을 제시한다: 이sovlation Forest에는 비율 분포, LODA에는 MAP 보간, EGMM에는 근사화를 권고한다.

ABSTRACT

Standard methods for anomaly detection assume that all features are observed at both learning time and prediction time. Such methods cannot process data containing missing values. This paper studies five strategies for handling missing values in test queries: (a) mean imputation, (b) MAP imputation, (c) reduction (reduced-dimension anomaly detectors via feature bagging), (d) marginalization (for density estimators only), and (e) proportional distribution (for tree-based methods only). Our analysis suggests that MAP imputation and proportional distribution should give better results than mean imputation, reduction, and marginalization. These hypotheses are largely confirmed by experimental studies on synthetic data and on anomaly detection benchmark data sets using the Isolation Forest (IF), LODA, and EGMM anomaly detection algorithms. However, marginalization worked surprisingly well for EGMM, and there are exceptions where reduction works well on some benchmark problems. We recommend proportional distribution for IF, MAP imputation for LODA, and marginalization for EGMM.

연구 동기 및 목표

• 테스트 시점에 결측치를 다루는 이상 탐지 방법의 격차를 해소하기 위해, 표준 방법이 모든 특성이 관측된 것으로 가정하는 점을 보완한다.
• 다섯 가지 다른 전략을 평가하고 비교한다: 평균 보간, MAP 보간, 특성 백킹(감소), 근사화, 비율 분포.
• 다양한 알고리즘과 결측 데이터 비율에서 이상 탐지 성능(ROC 곡선 아래 면적, AUC로 측정)이 가장 높은 방법을 규명한다.
• 이sovlation Forest, LODA, EGMM에 결측치 처리를 구현하는 데 실용적인 권고 사항을 제공한다.

제안 방법

• 테스트 쿼리에서 결측치를 처리하기 위한 다섯 가지 방법을 제안한다: 평균 보간, MAP 보간, 특성 백킹(감소), 밀도 기반 모델용 근사화, 트리 기반 모델용 비율 분포.
• 합성 및 벤치마크 데이터셋을 사용하여 이 다섯 가지 방법을 이sovlation Forest(IF), LODA, EGMM 세 가지 주요 이상 탐지 알고리즘에 적용한다.
• 성능을 비교하기 위해 주요 평가 지표로 ROC 곡선 아래 면적(AUC)을 사용하며, 결측 데이터 비율(ρ = 0.1%에서 10%)을 다양하게 설정한다.
• 모든 알고리즘에 대해 13~15개의 데이터셋을 포함하는 마더 세트 방법을 사용하고, 여러 런에 걸친 평균 결과를 통해 성능의 안정성을 평가한다.
• 근사화의 경우, 전체 차원 공간에서 꼬리 확률을 계산하여 타당한 비교를 보장하며, 차원 간 직접적인 밀도 비교를 피한다.
• 이론적 분석을 통해 MAP 보간과 비율 분포가 평균 보간과 감소 방법보다 우월하다는 것을 정당화한다.

실험 결과

연구 질문

• RQ1 이sovlation Forest에서 테스트 시점에 특성이 결측할 경우, 어떤 결측치 처리 전략이 가장 높은 AUC를 달성하는가?
• RQ2 LODA에서 다양한 결측 데이터 비율 하에서 MAP 보간은 평균 보간과 감소 방법보다 성능이 어떻게 뛰어나며, 얼마나 뛰어나게 나타나는가?
• RQ3 차원 수 불일치에 대한 이론적 우려가 있었음에도 불구하고, EGMM에서 왜 근사화가 놀랍도록 잘 작동하는가?
• RQ4 이sovlation Forest와 같은 트리 기반 이상 탐지기에서 비율 분포가 MAP 보간의 더 효율적인 대안이 될 수 있는가?
• RQ5 특성 백킹(감소)는 어떤 조건에서 실패하며, 언제는 여전히 효과적일 수 있는가?

주요 결과

• 비율 분포는 이sovlation Forest에서 평균 보간과 감소 방법보다 뛰어나며, 특히 높은 결측 데이터 비율(ρ ≥ 0.5)에서 뚜렷한 성능 우위를 보였다. 따라서 가장 효율적인 방법으로 권고된다.
• LODA에서는 모든 결측 데이터 비율에서 MAP 보간이 가장 뛰어난 결과를 내었으며, Pevnỳ가 제안한 원래의 감소 방법보다 뚜렷이 뛰어났다.
• EGMM에 대해서는 근사화가 놀랍게 잘 작동하여, ρ ≥ 0.4일 경우 평균적으로 가장 높은 AUC를 기록했으며, 12개의 마더 세트 중 6개에서 최고 성능을 기록했다.
• 평균 보간은 항상 MAP 보간과 비율 분포보다 성능이 열등했으며, 이는 이론적 기대와 일치했다.
• 감소 방법은 이sovlation Forest와 LODA에서 성능이 열악했으며, 비결측 특성 수가 √d 이하로 떨어질 경우 AUC가 0.5로 떨어지는 경향을 보였다.
• 이론적 제약이 있었음에도 불구하고, 근사화는 모든 테스트 쿼리가 유사한 수의 결측 특성을 가졌기에 상대적 확률 비교가 유지되어 효과적인 이상 점수를 생성했다.