[논문 리뷰] SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation

Yizhou Wang, Can Qin외 4명|arXiv (Cornell University)|2021. 11. 25.

Anomaly Detection Techniques and Applications참고 문헌 68인용 수 5

한 줄 요약

SLA²P는 정규 데이터 패턴을 학습하기 위해 의사클래스를 생성하기 위해 무작위 특징 투영을 사용하는 자기지도 이상 탐지 프레임워크를 제안한다. 변환된 특징에 적대적 편향을 적용하고 예측 불확실성을 측정함으로써 신뢰도 점수가 감소하는 것을 통해 이상치를 식별하며, 이미지, 텍스트, 표 형식 데이터셋에서 최신 기술 수준의 성능을 달성하며 극단적인 이상치 비율에 대해서도 강건성을 보인다.

ABSTRACT

Anomaly detection is a fundamental yet challenging problem in machine learning due to the lack of label information. In this work, we propose a novel and powerful framework, dubbed as SLA$^2$P, for unsupervised anomaly detection. After extracting representative embeddings from raw data, we apply random projections to the features and regard features transformed by different projections as belonging to distinct pseudo classes. We then train a classifier network on these transformed features to perform self-supervised learning. Next we add adversarial perturbation to the transformed features to decrease their softmax scores of the predicted labels and design anomaly scores based on the predictive uncertainties of the classifier on these perturbed features. Our motivation is that because of the relatively small number and the decentralized modes of anomalies, 1) the pseudo label classifier's training concentrates more on learning the semantic information of normal data rather than anomalous data; 2) the transformed features of the normal data are more robust to the perturbations than those of the anomalies. Consequently, the perturbed transformed features of anomalies fail to be classified well and accordingly have lower anomaly scores than those of the normal samples. Extensive experiments on image, text and inherently tabular benchmark datasets back up our findings and indicate that SLA$^2$P achieves state-of-the-art results on unsupervised anomaly detection tasks consistently.

연구 동기 및 목표

• 라벨이 없는 데이터와 희귀하고 다양한 이상치가 존재하는 비지도 이상 탐지의 과제를 해결하기 위해.
• 특징 수준의 변환을 통해 의사클래스를 생성함으로써 자기지도 학습을 활용해 탐지 성능을 향상시키기 위해.
• 적대적으로 변형된 특징에서 유도된 예측 불확실성을 민감한 이상치 점수 기반 메커니즘으로 활용하기 위해.
• 특히 낮거나 높은 이상치 비율 상황에서 강건한 성능을 달성하기 위해.
• 이론적 분석을 통해 이미지 수준과 특징 수준의 자기지도 방법 간 격차를 메우기 위해.

제안 방법

• 딥 임베딩에 무작위 투영을 적용하여 다수의 변환된 특징 뷰를 생성하고, 이를 자기지도 학습을 위한 별개의 의사클래스로 간주한다.
• 과적합을 방지하기 위해 조기 정지 기법을 사용하여 투영된 특징에 대해 딥 네트워크 분류기를 훈련함으로써 정상 데이터 패턴에 집중한다.
• 예측 레이블의 소프트맥스 신뢰도를 낮추기 위해 변환된 특징에 적대적 편향을 추가함으로써 불확실성 차이를 증폭시킨다.
• 편향 적용 후 예측 신뢰도의 감소에 기반하여 이상치 점수를 계산하며, 낮은 점수는 높은 이상치 가능성과 관련된다.
• 특수 작업에 맞는 적응 없이 이미지, 텍스트, 표 형식 데이터에 대해 종단 간(end-to-end)으로 적용된다.
• 이론적 분석을 통해 무작위 투영이 특징 유사성을 유지함을 확인하여 의사클래스 학습 목표의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 무작위 투영을 통한 특징 수준의 변환이 자기지도 이상 탐지에 효과적인 의사지도를 생성할 수 있는가?
• RQ2 적대적 편향이 이상치 식별을 위한 예측 불확실성의 구분 능력을 향상시키는가?
• RQ3 제안된 방법이 이미지, 텍스트, 표 형식 데이터 등 다양한 데이터 모odal에서 일반화 가능한가?
• RQ4 SLA²P는 특히 매우 낮거나 매우 높은 이상치 비율 상황에서 어떻게 성능을 발휘하는가?
• RQ5 이 자기지도 이상 탐지 프레임워크에서 무작위 투영을 사용하는 데 이론적 근거는 무엇인가?

주요 결과

• SLA²P는 이미지, 텍스트, 표 형식 영역에서 7개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며 이전 방법들보다 뚜렷한 성능 향상을 보였다.
• MVTec-AD 데이터셋에서 SLA²P는 평균 AUROC 95.81%를 기록하여 이전 최신 기술 수준 방법보다 1.25% 포인트 높았다.
• p=0.5인 20 Newsgroups 텍스트 데이터셋에서 SLA²P는 AUROC 78.13%를 기록하여 다음으로 좋은 방법보다 7.0% 포인트 높았다.
• 극단적인 이상치 비율 조건에서도 강력한 성능 유지를 보였으며, MVTec-AD에서 1% 이상치 비율일 경우에도 AUROC가 90% 이상, 50% 이상치 비율일 경우에도 85% 이상을 기록했다.
• 제거 실험(ablation study) 결과, 무작위 투영과 적대적 편향 둘 다 필수적인 구성 요소임을 확인하였으며, 둘 중 하나를 제거하면 평균적으로 성능이 5% 이상 감소했다.
• 이론적 분석을 통해 무작위 투영이 특징 유사성을 유지함을 확인하여 의사클래스 학습 목표의 타당성을 뒷받침했다.