[논문 리뷰] Understanding the Effect of Bias in Deep Anomaly Detection

Ziyu Ye, Yuxin Chen외 1명|arXiv (Cornell University)|2021. 05. 16.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 편향된 레이블이 부여된 이상 탐지 데이터가 딥 이상 탐지 모델에 미치는 영향을 조사하며, 상대적 점수 편향을 정량화하기 위한 공식적 프레임워크를 제안한다. 이 편향에 대한 유한 표본 추정 속도를 수립하고, 분포상의 불일치에 따라 추가로 레이블이 부여된 이상 데이터가 성능을 향상시키기도 하고 악화시키기도 하는 것을 경험적으로 입증함으로써, 다양한 이상 유형 간 성능 변동성이 뚜렷하게 드러남.

ABSTRACT

Anomaly detection presents a unique challenge in machine learning, due to the scarcity of labeled anomaly data. Recent work attempts to mitigate such problems by augmenting training of deep anomaly detection models with additional labeled anomaly samples. However, the labeled data often does not align with the target distribution and introduces harmful bias to the trained model. In this paper, we aim to understand the effect of a biased anomaly set on anomaly detection. Concretely, we view anomaly detection as a supervised learning task where the objective is to optimize the recall at a given false positive rate. We formally study the relative scoring bias of an anomaly detector, defined as the difference in performance with respect to a baseline anomaly detector. We establish the first finite sample rates for estimating the relative scoring bias for deep anomaly detection, and empirically validate our theoretical results on both synthetic and real-world datasets. We also provide an extensive empirical study on how a biased training anomaly set affects the anomaly score function and therefore the detection performance on different anomaly classes. Our study demonstrates scenarios in which the biased anomaly set can be useful or problematic, and provides a solid benchmark for future research.

연구 동기 및 목표

• 편향된 레이블이 부여된 이상 데이터가 딥 이상 탐지 모델에 미치는 영향을 체계적으로 이해하는 것.
• 기본 검출기 대비 성능 차이로 정의되는 이상 탐지에서의 상대적 점수 편향 개념을 공식화하는 것.
• 딥 이상 탐지에서 상대적 점수 편향을 추정하는 데 대한 유한 표본 추정 속도를 유도하는 것.
• 다양한 모델과 데이터셋에서 편향된 학습 데이터가 이상 점수 함수와 탐지 성능에 미치는 영향을 경험적으로 평가하는 것.
• 레이블이 부여된 이상 데이터를 사용할 때의 위험과 이점에 대한 향후 연구를 위한 벤치마크를 제공하는 것.

제안 방법

• 고정된 위양성 비율에서 재현율을 최적화하기 위해 이상 탐지를 감독 학습 과제로 공식화하는 것.
• 학습된 검출기와 기준 기준 검출기 사이의 성능 차이로 정의된 상대적 점수 편향을 정의하는 것.
• 통계학적 학습 이론을 사용하여 상대적 점수 편향을 추정하는 데 대한 유한 표본 경계를 유도하는 것.
• 합성 데이터와 세 개의 실제 데이터셋(Fashion-MNIST, StatLog (Landsat Satellite), Cellular Spectrum Misuse)에서 광범위한 경험적 검증을 수행하는 것.
• 레이블이 부여된 이상 데이터의 분포 이탈 정도를 시뮬레이션하기 위해 가중 혼합 학습 구성 방식을 사용하는 것.
• 다양한 학습 제어 방식에서 여섯 개의 딥 이상 탐지 모델을 평가하여 이상 유형 간 성능 변동성을 측정하는 것.

실험 결과

연구 질문

• RQ1 목표 분포와 일치하지 않는 레이블이 부여된 이상 데이터를 사용할 경우, 딥 이상 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 딥 이상 탐지에서 상대적 점수 편향을 추정하는 데 대한 유한 표본 속도는 무엇인가?
• RQ3 추가로 레이블이 부여된 이상 데이터가 성능을 향상시키거나 악화시키는 상황는 언제인가?
• RQ4 순수한 정상 데이터 대비 편향된 이상 데이터로 학습했을 때 이상 점수 함수는 어떻게 변화하는가?
• RQ5 편향된 레이블이 부여된 데이터를 사용할 경우, 다양한 이상 유형 간 성능의 상충 관계는 어떻게 나타나는가?

주요 결과

• 목표 분포와 일치하지 않는 레이블이 부여된 이상 데이터의 사용은 상대적 점수 편향을 심각하게 유발하여 다양한 이상 유형 간 성능 변동성을 초래한다.
• 상대적 점수 편향을 추정하는 데 대한 유한 표본 추정 속도가 확립되어, 딥 이상 탐지에서 편향을 평가하는 데 이론적 기반을 제공한다.
• Fashion-MNIST 데이터셋에서 90%의 샌들 이상 데이터로 학습한 모델은 샌들의 TPR이 1.00이지만 드레스의 TPR은 0.11에 불과하여, 분포가 이탈한 이상 유형에서 심각한 성능 저하가 발생함을 보여준다.
• Cellular Spectrum Misuse 데이터셋에서는 일부 유형에 대해 편향된 이상 데이터로 학습한 모델이 TPR 0.99를 기록했지만, 다른 유형에 대해서는 TPR이 0.10으로 급격히 떨어져 성능의 일관성 부족을 드러낸다.
• 연구 결과, 레이블이 부여된 이상 데이터는 목표 분포와 일치할 경우 유용할 수 있지만, 그렇지 않을 경우 해로울 수 있으며, 성능 향상 또는 저하의 정도는 이상 유형에 따라 달라진다.
• 경험적 결과는 편향된 데이터로 학습한 모델이 분포 내 이상 유형에서는 높은 TPR(예: 부츠의 경우 0.99)를 기록할 수 있지만, 다른 유형에서는 낮은 재현율(예: 반바지의 경우 0.06)을 보이며, 분포 이탈의 위험을 입증한다.