[논문 리뷰] Anomaly Detection using One-Class Neural Networks

Raghavendra Chalapathy, Aditya Krishna Menon외 1명|arXiv (Cornell University)|2018. 02. 18.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 189

한 줄 요약

본 논문은 OC-NN을 소개합니다, 원-클래스 SVM 유사 objective를 딥 표현에 통합하여 이상치를 탐지하는 신경망 모델로, 후처리 특징 추출에 의존하지 않고 복잡하고 고차원 데이터에서 경쟁력 있는 성능을 보임.

ABSTRACT

We propose a one-class neural network (OC-NN) model to detect anomalies in complex data sets. OC-NN combines the ability of deep networks to extract a progressively rich representation of data with the one-class objective of creating a tight envelope around normal data. The OC-NN approach breaks new ground for the following crucial reason: data representation in the hidden layer is driven by the OC-NN objective and is thus customized for anomaly detection. This is a departure from other approaches which use a hybrid approach of learning deep features using an autoencoder and then feeding the features into a separate anomaly detection method like one-class SVM (OC-SVM). The hybrid OC-SVM approach is sub-optimal because it is unable to influence representational learning in the hidden layers. A comprehensive set of experiments demonstrate that on complex data sets (like CIFAR and GTSRB), OC-NN performs on par with state-of-the-art methods and outperformed conventional shallow methods in some scenarios.

연구 동기 및 목표

• OC-SVM이 어려움을 겪는 고차원 데이터에서 비지도 이상 탐지를 개선하려는 동기 부여.
• 표현 학습에 원 클래스 목표를 통합하는 신경망 기반 접근법 개발.
• 은닉 계층 표현이 이상 탐지를 위해 맞춤화되도록 엔드 투 엔드 최적화를 가능하게 한다.
• 다중 모달 데이터셋(이미지 및 시퀀스)에서 얕은 모델 및 깊은 모델 기준선과 OC-NN을 평가한다.
• 교대 최소화 학습 절차와 OC-NN 컷오프를 위한 분위수 기반 최적화에 대한 이론적 통찰을 제공한다.

제안 방법

• OC-SVM의 점곱을 신경망 은닉 표현으로 대체하는 원 클래스 신경망(OC-NN)을 제안합니다: hat{y}_n = w^T g(V x_n).
• OC-NN 목적함수를 표준 가중치 정규화 항과 원클래스 손실 항의 합으로 형식화하고, 바이어스 r을 갖는 hinge형 max(0, r - hat{y}_n) 값을 이용한 원클래스 손실 항의 합으로 OC-NN 목적함수를 형식화한다.
• 최적의 r이 점수 hat{y}_n의 nu-분위수임을 도출하여, w와 V는 역전파로 학습되고 r은 분위수 계산을 통해 업데이트되는 교대 최소화를 가능하게 한다.
• 엔코더 가중치를 사전 학습된 자동인코더로 초기화하여 이상 탐지를 위한 특징을 맞춤화하도록 허용한다.
• 합성 및 실제 데이터 세트에서 OC-SVM/SVDD, KDE, Isolation Forest, DCAE, AnoGAN, 및 RCAE와 OC-NN을 비교한다.
• 복잡한 데이터에 대해 단일 은닉층과 전이 학습에서 얻은 임베딩을 활용한 네트워크 아키텍처를 기술한다.

실험 결과

연구 질문

• RQ1 이상 탐지를 위한 작업 특화 표현을 학습하기 위해 원 클래스 목표를 신경망에 통합하는 방법은 무엇인가?
• RQ2 OC-NN이 최첨단 기준선과 비교하여 고차원 이미지 및 시퀀스 데이터에서 경쟁력 있거나 우수한 이상 탐지 성능을 달성하는가?
• RQ3 교대 최소화와 분위수 기반 임계값 업데이트를 통해 학습을 효율적으로 최적화할 수 있는가?
• RQ4 사전 학습된 자동인코더로부터 얻은 특징을 OC-NN의 입력으로 사용할 때 탐지 정확도에 미치는 영향은 무엇인가?
• RQ5 현실적인 데이터 세트에서 공격적 의도(adversarial) 또는 경계 공격(boundary-attack) 이상치를 탐지하는 OC-NN의 성능은 어떠한가?

주요 결과

• OC-NN은 복잡한 이미지 및 시퀀스 데이터 세트에서 최첨단 딥 러닝 접근법과 경쟁력 있는 성능을 달성한다.
• OC-NN은 특히 고차원 데이터에서 특정 시나리오에서 전통적인 얕은 방법보다 우수한 성능을 보일 수 있다.
• 학습 알고리즘은 임계값 r이 점수의 nu-분위수와 같아지는 교대 최소화를 사용하여 실용적인 최적화를 가능하게 한다.
• 사전 학습된 자동인코더의 인코더 특징을 사용하는 것이 OC-NN의 이상 탐지 능력을 향상시킨다.
• OC-NN은 GTSRB 데이터셋에서 적대적 정지 표지 샘플 탐지에 효과적임을 보이며, 다른 심층 모델과의 비교 결과를 보여준다.