[논문 리뷰] Perturbation Learning Based Anomaly Detection

Jinyu Cai, Jicong Fan|arXiv (Cornell University)|2022. 06. 06.

Anomaly Detection Techniques and Applications인용 수 11

한 줄 요약

이 논문은 정규 데이터를 적절한 이상치 예제로 변환하는 최소한의 변형을 학습하는 데 중점을 두고, 정규 데이터의 분포에 대한 사전 가정 없이 정규 및 이상 데이터 간의 결정 경계를 학습할 수 있도록 공동으로 훈련하는 변형 학습 기반 이상 탐지(PLAD)라는 새로운 비지도 이상 탐지 방법을 제안한다. PLAD는 기존 방법보다 적은 초모수와 낮은 계산 비용으로 이미지 및 표형 데이터 세트에서 최고 성능을 기록한다.

ABSTRACT

This paper presents a simple yet effective method for anomaly detection. The main idea is to learn small perturbations to perturb normal data and learn a classifier to classify the normal data and the perturbed data into two different classes. The perturbator and classifier are jointly learned using deep neural networks. Importantly, the perturbations should be as small as possible but the classifier is still able to recognize the perturbed data from unperturbed data. Therefore, the perturbed data are regarded as abnormal data and the classifier provides a decision boundary between the normal data and abnormal data, although the training data do not include any abnormal data. Compared with the state-of-the-art of anomaly detection, our method does not require any assumption about the shape (e.g. hypersphere) of the decision boundary and has fewer hyper-parameters to determine. Empirical studies on benchmark datasets verify the effectiveness and superiority of our method.

연구 동기 및 목표

• 정규 데이터 분포의 형태나 구조에 대한 가정 없이 새로운 이상 탐지 방법을 개발하는 것.
• 기존 딥 러닝 이상 탐지 방법에 비해 필요한 초모수 수를 줄이는 것.
• 오직 정규 훈련 데이터만 이용 가능한 비지도 환경에서 효과적인 이상 탐지 기능을 제공하는 것.
• 다양한 복잡한 데이터, 특히 다중 클래스 정규 데이터와 비이미지 표형 데이터에서의 일반화 성능 향상

제안 방법

• PLAD는 정규 데이터를 이상 예제로 변환할 수 있는 최소한의 눈에 띄지 않는 변형을 생성하는 변형기(퍼트버레이터)를 훈련한다.
• 분류기는 원본 정규 데이터와 변형된 데이터를 구분하도록 공동으로 훈련되어, 효과적으로 결정 경계를 학습한다.
• 딥 네ural 네트워크를 활용해 엔드 투 엔드 백프로파게이션을 통해 변형기와 분류기를 동시에 최적화한다.
• 변형은 정규화 손실를 통해 작게 유지되도록 제약되며, 이는 변형이 최소이면서도 분류에 유의미한 영향을 미치도록 보장한다.
• 이 방법은 정규 데이터의 다양체를 초월해 변형된 데이터 포인트를 이상 데이터로 암묵적으로 정의한다.
• 이 방법은 다양한 딥 아키텍처, 즉 CNN, RNN, GNN, 트랜스포머 등을 활용해 다양한 데이터 유형에 적합하다.

실험 결과

연구 질문

• RQ1 정규 데이터 다양체의 특정 형태(예: 초구형)를 가정하지 않고 딥 러닝 기반 이상 탐지 방법을 개발할 수 있는가?
• RQ2 오직 정규 데이터로부터만 최소한의 변형을 효과적으로 학습하여 강력한 결정 경계를 만들 수 있는가?
• RQ3 PLAD는 이미지 및 표형 데이터 세트에서 기존 최고 수준의 방법보다 더 적은 초모수로 슈퍼리아 성능을 보여줄 수 있는가?
• RQ4 정규 데이터에 여러 개의 레이블이 없는 클래스가 포함되어 있을 경우 PLAD의 일반화 성능은 어떠한가?

주요 결과

• PLAD는 갑상선 데이터셋에서 F1 스코어 76.6% ± 0.6을 기록하여, NeuTraL AD 및 GOCC를 포함한 모든 베이스라인을 초월했다.
• 심부전 데이터셋에서 PLAD는 F1 스코어 71.0% ± 1.7을 기록하여, 2위 메서드보다 9.2%p 높은 성능을 보였다.
• 다중 클래스 정규 데이터 탐지에서 PLAD는 CIFAR-10에서 AUC 72.7% ± 1.9, Fashion-MNIST에서 AUC 75.3% ± 2.8을 기록하여, DSVDD보다 각각 9.1%p와 4.4%p 높은 성능을 보였다.
• PLAD는 이미지 및 표형 데이터 양쪽에서 뛰어난 성능을 보이며, 다양한 데이터 유형 간에 강력한 일반화 능력을 입증했다.
• DROCC, GOAD, DSVDD와 같은 방법들보다 더 적은 초모수와 낮은 계산 비용으로 최고 성능을 달성했다.