[논문 리뷰] Normality-Calibrated Autoencoder for Unsupervised Anomaly Detection on Data Contamination

Jongmin Yu, Hyeontaek Oh외 2명|arXiv (Cornell University)|2021. 10. 28.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 14

한 줄 요약

이 논문은 정규성 캘리브레이션된 오토인코더(Normality-Calibrated Autoencoder, NCAE)를 제안한다. NCAE는 저엔트로피 잠재 공간에서 고신뢰도 정상 샘플을 적대적으로 생성하고, 이를 통해 오염된 샘플을 식별함으로써 데이터 오염에 대한 강건성을 향상시키는 완전히 비지도 이상 탐지 방법이다. NCAE는 최신 비지도 방법들을 능가하며, MNIST 및 패션-MNIST 데이터셋에서 높은 오염 비율(최대 20%) 조건에서도 준지도 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

In this paper, we propose Normality-Calibrated Autoencoder (NCAE), which can boost anomaly detection performance on the contaminated datasets without any prior information or explicit abnormal samples in the training phase. The NCAE adversarially generates high confident normal samples from a latent space having low entropy and leverages them to predict abnormal samples in a training dataset. NCAE is trained to minimise reconstruction errors in uncontaminated samples and maximise reconstruction errors in contaminated samples. The experimental results demonstrate that our method outperforms shallow, hybrid, and deep methods for unsupervised anomaly detection and achieves comparable performance compared with semi-supervised methods using labelled anomaly samples in the training phase. The source code is publicly available on `https://github.com/andreYoo/NCAE_UAD.git'.

연구 동기 및 목표

• 학습 데이터에 알려지지 않은 비정상 샘플이 포함되어 있을 경우 이상 탐지 성능이 떨어지는 문제를 해결한다.
• 학습 중에 사전 지식이나 명시적 비정상 샘플이 필요 없는 완전히 비지도 방법을 개발한다.
• 오염된 샘플에 대한 재구성 오차를 식별하고 최대화함으로써 모델의 오염에 대한 강건성을 향상시킨다.
• 학습 중에 레이블이 부여된 이상 샘플을 사용하지 않더라도 준지도 방법과 경쟁 가능한 성능을 달성할 수 있도록 한다.
• 잠재 공간에서 정상성의 캘리브레이션을 통해 오토인코더가 알려지지 않은 또는 오염된 샘플을 재구성할 때 과신하는 문제를 해결한다.

제안 방법

• 정상 샘플에서 재구성 오차를 최소화하고 오염된 샘플에서 최대화하기 위해 정규성 캘리브레이션된 재구성(NCR) 손실을 사용하여 오토인코더를 훈련한다.
• 생성적 적대적 네트워크(GAN) 프레임워크를 활용하여 잠재 특징 분포를 정상 데이터 중심의 지식이 풍부하고 저엔트로피 분포로 변환한다.
• 학습된 잠재 분포의 중심(저엔트로피 영역)에서 노이즈를 샘플링하여 고신뢰도 정상 샘플을 생성한다.
• 대조 학습을 통해 입력 샘플과 생성된 고신뢰도 정상 샘플을 비교하여 오염도 점수를 추정한다.
• 재구성 오차 기반으로 반복적으로 오염된 샘플을 식별하고, 해당 샘플에 대해 재구성 오차를 증가시키기 위해 오토인코더를 재학습한다.
• 오염된 샘플이 높은 오염 비율에서 저엔트로피 클러스터를 형성할 수 있음을 감안해, 잠재 특징의 엔트로피를 활용하여 오염을 탐지한다.

실험 결과

연구 질문

• RQ1 학습 데이터에 알려지지 않은 비정상 샘플이 포함되어 있을 경우, 완전히 비지도 이상 탐지 모델이 높은 성능을 유지할 수 있는가?
• RQ2 저엔트로피 잠재 공간에서 고신뢰도 정상 샘플을 적대적으로 생성하면 데이터 오염에 대한 강건성이 향상되는가?
• RQ3 다양한 오염 비율에서 제안된 방법이 기존 비지도 이상 탐지 기법보다 뛰어난 성능을 보이는가?
• RQ4 레이블가지 않은 이상 샘플을 사용하지 않더라도 모델이 준지도 방법과 비교할 만한 성능을 달성할 수 있는가?
• RQ5 높은 오염 비율에서 잠재 특징의 엔트로피는 어떻게 행동하며, 이를 활용해 오염된 샘플을 탐지할 수 있는가?

주요 결과

• MNIST에서 1% 오염 조건에서는 AUC가 97.2%로 모든 비지도 기준보다 높으며, 10% 오염 조건에서는 92.6%를 기록한다.
• 패션-MNIST에서는 10% 오염 조건에서 AUC가 91.5%이며, 20% 오염 조건에서는 88.97%를 기록하여, 제시된 모든 비지도 방법을 능가한다.
• 레이블가지 않은 이상 샘플이 없음에도 불구하고, SSAD 및 Deep SAD와 같은 준지도 방법과 유사한 성능을 달성한다.
• 비오염 데이터(ρ=0.0)에서는 모델의 오염 가정에 기인한 약간의 성능 저하가 발생하지만, 모든 오염 수준에서 강력한 성능 유지를 보인다.
• 낮은 엔트로피 클러스터를 형성하는 오염 샘플도 효과적으로 탐지하여, 기존 엔트로피 기반 방법의 실패 모드를 극복한다.
• NCAE 프레임워크는 여러 데이터셋과 오염 수준에서 강건성을 보이며, 실제 환경에서의 일반화 능력을 입증한다.