[논문 리뷰] DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection

Hadi Hojjati, Narges Armanfard|arXiv (Cornell University)|2021. 06. 09.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

DASVDD는 정상 데이터의 잠재 공간에서 최소 부피의 초구를 학습하기 위해 딥 오토인코더와 서포트 벡터 데이터 서술자(SVDD)를 결합한 공동 학습 프레임워크를 제안한다. 재구성 오차와 초구 중심 거리를 통합한 이상 탐지 점수를 통해 DASVDD는 초구 붕괴 문제를 피하고 이미지, 음성, 산업 데이터를 포함한 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semi-supervised anomaly detection aims to detect anomalies from normal samples using a model that is trained on normal data. With recent advancements in deep learning, researchers have designed efficient deep anomaly detection methods. Existing works commonly use neural networks to map the data into a more informative representation and then apply an anomaly detection algorithm. In this paper, we propose a method, DASVDD, that jointly learns the parameters of an autoencoder while minimizing the volume of an enclosing hyper-sphere on its latent representation. We propose an anomaly score which is a combination of autoencoder's reconstruction error and the distance from the center of the enclosing hypersphere in the latent representation. Minimizing this anomaly score aids us in learning the underlying distribution of the normal class during training. Including the reconstruction error in the anomaly score ensures that DASVDD does not suffer from the common hypersphere collapse issue since the DASVDD model does not converge to the trivial solution of mapping all inputs to a constant point in the latent representation. Experimental evaluations on several benchmark datasets show that the proposed method outperforms the commonly used state-of-the-art anomaly detection algorithms while maintaining robust performance across different anomaly classes.

연구 동기 및 목표

• 모든 입력을 단일 점으로만 매핑하는 등 모델이 비현실적으로 단순화되는 초구 붕괴 문제를 해결한다.
• 도메인 전용 변환 없이도 다양한 데이터 유형(이미지, 음성, 산업 신호, 의료 데이터)에서 이상 탐지의 일반화 및 강건성을 향상시킨다.
• 오토인코더 재구성과 SVDD 초구 최소화를 동시에 최적화하는 통합 학습 목표를 개발한다.
• 모델이 초구 중심과 네트워크 편향을 동시에 학습해도 효과를 유지하도록 하며, 아키텍처 제약을 피한다.

제안 방법

• 정상 데이터의 잠재 표현에 대해 딥 오토인코더를 SVDD와 함께 엔드 투 엔드로 학습하여 둘러싸인 초구의 부피를 최소화한다.
• 잠재 공간 내에서 학습된 초구 중심과의 L2 거리와 오토인코더의 재구성 오차를 가중합으로 조합한 새로운 이상 탐지 점수를 정의한다.
• 재구성 오차(평균 제곱오차를 통한)와 SVDD 손실(마진 기반 초구 최소화를 통한)을 균형 잡는 총 손실 함수를 최적화한다.
• 각 에포크 동안 오토인코더 학습과 초구 중심 갱신 간의 균형을 조절하기 위해 하이퍼파라미터 κ를 도입한다.
• 초구 중심을 히우리스틱 방식으로 초기화하고 학습률 감소를 적용하여 학습 동역학을 안정화시킨다.
• 과잉 완성 오토인코더(예: 잠재 차원 ≥ 입력 차원)에서도 비현실적 해를 방지하기 위해 잠재 표현을 정규화한다.

Figure 1: Overview of the proposed method DASVDD.

실험 결과

연구 질문

• RQ1 오토인코더와 SVDD의 공동 학습 프레임워크가 DSVDD 및 기타 딥 원클래스 방법에서 흔히 발생하는 초구 붕괴 문제를 방지할 수 있는가?
• RQ2 이상 탐지 점수에 재구성 오차와 초구 중심 거리를 통합함으로써, 각각의 지표를 별도로 사용할 때보다 성능 향상이 이루어지는가?
• RQ3 특정 도메인에 맞는 전처리 없이도 DASVDD가 다양한 데이터 모odal(예: 이미지, 음성, 표준형 데이터)에 얼마나 잘 일반화되는가?
• RQ4 κ와 잠재 차원 크기와 같은 하이퍼파라미터의 변화에 따라 DASVDD의 성능이 얼마나 민감한가?
• RQ5 제안된 방법이 다양한 벤치마크 데이터셋에서 기존 최신 기술 수준의 원클래스 이상 탐지 알고리즘을 초월하는가?

주요 결과

• DASVDD는 MNIST, CIFAR-10, 음성 및 산업 사운드 데이터셋을 포함한 일곱 개의 벤치마크 데이터셋에서 여러 최신 기술 수준의 이상 탐지 방법을 능가한다.
• MNIST에서 κ = 0.9일 때 최적의 성능을 달성하여, κ = 1.0(중심 고정) 또는 너무 낮은 값으로 설정할 경우 오토인코더 학습에 필요한 데이터가 부족해 성능 저하가 발생함을 확인했다.
• MNIST, CIFAR-10, 패션 MNIST에서 잠재 표현의 크기가 성능에 미치는 영향이 미미하며, 입력 차원을 초월하는 잠재 차원이라도 성능에 영향을 거의 주지 않아 과잉 완성 인코딩에 대해 강건함을 입증했다.
• 제안된 이상 탐지 점수는 재구성 오차 항이 잠재 공간에서 네트워크가 단일 점으로 붕괴하는 것을 방지함으로써 초구 붕괴를 효과적으로 방지한다.
• 이미지, 음성, 침입 탐지, 의료 데이터 등 다양한 도메인에서 뛰어난 성능을 유지하여, 입력 전용 변환 없이도 일반화 능력이 뛰어나다는 것을 입증했다.
• 학습 동역학을 분석한 결과, 초기 단계에서는 SVDD 손실이 급격히 감소하지만, 이후에는 재구성 오차에 의해 주로 영향을 받는 것으로 나타나, 초기 학습 단계 이후에는 오토인코더 구성 요소가 최적화의 주요 동력이 된다.

Figure 2: Samples with the lowest (top row) and highest (bottom row) anomaly scores in MNIST (10 left columns) and FMNIST (10 right columns).