[논문 리뷰] Latent Outlier Exposure for Anomaly Detection with Contaminated Data

Chen Qiu, Aodong Li외 3명|arXiv (Cornell University)|2022. 02. 16.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

이 논문은 레이블이 없는 이상치가 포함된 데이터셋에서 딥 이상 탐지기 학습을 위한 새로운 방법인 잠재 이상 노출(Latent Outlier Exposure, LOE)을 제안한다. 정상 데이터와 이상 데이터에 대해 각각 다른 손실 함수를 공유하는 모델 파라미터와 잠재 이진 레이블(정상/이상)을 번갈아가며 최적화함으로써, 이미지, 표형, 비디오 이상 탐지 벤치마크 전반에서 최신 기준 성능을 달성하며, 고도의 오염 비율 조건에서도 블라인드 트레이닝 및 데이터 정제 기반 방법을 크게 능가한다.

ABSTRACT

Anomaly detection aims at identifying data points that show systematic deviations from the majority of data in an unlabeled dataset. A common assumption is that clean training data (free of anomalies) is available, which is often violated in practice. We propose a strategy for training an anomaly detector in the presence of unlabeled anomalies that is compatible with a broad class of models. The idea is to jointly infer binary labels to each datum (normal vs. anomalous) while updating the model parameters. Inspired by outlier exposure (Hendrycks et al., 2018) that considers synthetically created, labeled anomalies, we thereby use a combination of two losses that share parameters: one for the normal and one for the anomalous data. We then iteratively proceed with block coordinate updates on the parameters and the most likely (latent) labels. Our experiments with several backbone models on three image datasets, 30 tabular data sets, and a video anomaly detection benchmark showed consistent and significant improvements over the baselines.

연구 동기 및 목표

• 이상 탐지에서 흔히 가정되지만 자주 위반되는 가정인, 훈련 데이터에 이상치가 존재하지 않는다는 전제를 해결한다.
• 실제 세계에서 흔한 상황인, 레이블이 없는 이상치가 포함된 훈련 데이터에서 이상 탐지 성능을 향상시키는 것을 목표로 한다.
• 다양한 딥 러닝 백본과 손실 함수와 호환 가능한 도메인에 종속되지 않는 방법을 개발한다.
• 이상치 위치에 대한 사전 지식이 없이도, 동시에 이상치를 식별하고 강력한 표현을 학습할 수 있는 엔드 투 엔드 학습을 가능하게 한다.
• 이미지, 표형 데이터, 비디오 시퀀스를 포함한 다양한 데이터 유형에서 기존 방법들인 블라인드 트레이닝 및 반복적 데이터 정제 방법을 능가한다.

제안 방법

• 각 데이터 포인트에 대해 연속적인 모델 파라미터와 이산적인 잠재 레이블(정상 대비 이상) 간의 공동 최적화 프레임워크를 도입한다.
• 정상 데이터와 이상 데이터에 각각 다른 손실 함수를 사용하며, 두 손실 함수는 동일한 모델 파라미터를 공유한다.
• 블록 좌표 강내법(Alternating Optimization, Block Coordinate Descent)을 적용하여 모델 파라미터와 가장 가능성 높은 잠재 레이블을 번갈아가며 갱신한다.
• 자기지도 학습 또는 대비 학습 손실 함수를 핵심 이상 탐지 점수 기반으로 활용하며, NTL, ResNet, 오토에인코드러 등 다양한 모델과 호환된다.
• 추론 단계에서는 오직 두 손실 함수 중 하나를 임계값 기반으로 평가함으로써 일정 시간 예측이 가능하다.
• 다양한 백본 아키텍처와 손실 함수와의 통합을 통해 이미지, 표형, 비디오 데이터에 대한 융통성 있는 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 중에 잠재 이상 레이블을 추론하는 공동 최적화 프레임워크가 오염된 데이터셋에서 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 훈련 데이터의 진짜 이상비율에 대한 잘못된 가정에 대해 제안된 방법이 얼마나 강인한가?
• RQ3 오염가 있는 환경에서 기존 기반 방법인 블라인드 트레이닝 및 데이터 정제 방법보다 성능이 뛰어나게 되는가?
• RQ4 이 방법이 이미지, 표형 데이터, 비디오 시퀀스를 포함한 다양한 데이터 모odal리티에 일반화 가능한가?
• RQ5 다양한 손실 함수와 백본 모델이 제안된 방법의 성능에 미치는 영향은 어떠한가?

주요 결과

• LOE는 CIFAR-10, 30개의 표형 데이터셋, UCSD Pedestrian 비디오 벤치마크를 포함한 모든 평가된 데이터셋에서 블라인드 트레이닝 및 데이터 정제 기반 방법을 크게 능가한다.
• UCSD Pedestrian 비디오 데이터셋에서 LOE S는 10% 및 20% 오염 비율 조건에서 각각 Deep Ordinal Regression 대비 18.8% 및 9.2% 높은 AUC 성능을 기록한다.
• LOE H는 뛰어난 강인성을 보이며, 초깃값 α(가정된 이상비율)가 진짜 비율에서 5% 이상 벗어나도 성능 저하가 최대 1.4% 이내로 제한된다.
• LOE S는 항상 블라인드 트레이닝 및 데이터 정제 기반 방법을 능가하며, 특히 가정된 이상비율 α가 진짜 오염 비율보다 높을 경우에 더 두드러진 성능 향상을 보인다.
• 시험된 모든 벤치마크에서 이미지, 표형, 비디오 이상 탐지 작업에서 최신 기준 성능을 달성한다.
• 이상치 위치에 대한 사전 지식 없이도 고오염 수준에서도 일관된 성능 향상을 보이며, 명시적 데이터 정제 없이도 효과적이다.