[논문 리뷰] Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection

Kasra Babaei, Zhiyuan Chen외 1명|arXiv (Cornell University)|2019. 12. 21.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 5

한 줄 요약

이 논문은 이상 탐지에서 비지도 일종 분류기(OCC)의 성능을 향상시키기 위해 자동에코더(AE)를 사용하여 의미 있는 잠재공간 데이터 증강을 제안한다. 정상 데이터에 대해 AE를 훈련시고, 이를 통해 학습된 잠재 표현을 사용해 훈련 세트를 증강함으로써, 고차원성 및 소수의 샘플이 존재하는 상황에서도 OCC 성능을 향상시킨다. 이 방법은 여러 기준 데이터셋에서 SMOTE, ADASYN, 노이즈 기반 증강보다 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes an autoencoder (AE) that is used for improving the performance of once-class classifiers for the purpose of detecting anomalies. Traditional one-class classifiers (OCCs) perform poorly under certain conditions such as high-dimensionality and sparsity. Also, the size of the training set plays an important role on the performance of one-class classifiers. Autoencoders have been widely used for obtaining useful latent variables from high-dimensional datasets. In the proposed approach, the AE is capable of deriving meaningful features from high-dimensional datasets while doing data augmentation at the same time. The augmented data is used for training the OCC algorithms. The experimental results show that the proposed approach enhance the performance of OCC algorithms and also outperforms other well-known approaches.

연구 동기 및 목표

• 고차원, 희소성 또는 소규모 훈련 세트 상황에서 일종 분류기(OCC)의 성능이 열 劣하는 문제를 해결하기 위해.
• 자동에코더가 의미 있는 잠재공간 데이터 증강을 생성할 수 있는지 조사하기 위해.
• 라벨이 부여된 이상 데이터를 요구하지 않으면서도 비지도 학습 제약 조건을 유지한 채 이상 탐지 성능을 향상시키기 위해.
• 다양하고 실제 세계의 데이터셋(다양한 이상 유형과 희소성 포함)에서 AE 기반 증강의 효과를 평가하기 위해.

제안 방법

• 정상 데이터만 포함된 훈련 데이터에 대해 딥 자동에코더를 훈련시어, 버블넥 레이어에서 압축된 비선형 표현을 학습한다.
• 여러 훈련 에포크에서 훈련된 AE로부터 잠재 벡터를 추출해 증강된 훈련 샘플을 생성한다.
• 증강된 잠재 데이터를 사용해 일종 분류기(예: LOF, Isolation Forest, KDE)를 재훈련하여 경계 학습 성능을 향상시킨다.
• 모든 데이터셋에 동일한 AE 아키텍처를 적용해 공정한 비교를 보장하며, InternetAds(1558개 기능)와 같은 고차원, 희소 데이터셋에도 적용한다.
• 성능 차이의 유의성을 평가하기 위해 통계적 검증(Wilcoxon signed-rank 검정)을 수행한다. 기준 증강 방법(예: 노이즈 추가)과의 비교에 사용된다.
• 표준 평가 지표(ROC AUC 및 PR AUC)를 사용해 여러 기준 데이터셋(NSL-KDD, CTU13, PenDigits 등)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자동에코더에서 유도된 잠재공간 데이터 증강이 비지도 이상 탐지에서 일종 분류기 성능을 향상시킬 수 있는가?
• RQ2 SMOTE 및 ADASYN과 같은 전통적 방법과 비교했을 때, AE 기반 데이터 증강은 이상 탐지 AUC 점수에서 어떤가?
• RQ3 특성 희소성이 표현 학습에 도전하는 고차원, 희소 데이터셋에서도 제안된 방법이 강건한가?
• RQ4 노이즈 기반 증강 또는 기준 OCC와 비교했을 때 성능 향상이 통계적으로 유의한가?

주요 결과

• 제안된 AE 기반 데이터 증강은 NSL-KDD 및 CTU13 데이터셋에서 SMOTE 및 ADASYN를 초월하여 대부분의 경우 최고의 PR AUC 및 ROC AUC를 기록했다.
• PenDigits 데이터셋에서는 다른 증강 방법보다 LOF 점수의 분산이 유의미하게 적어, 더 안정적이고 강건한 분류 경계를 나타냈다.
• Wilcoxon signed-rank 검정 결과, 제안된 방법과 노이즈 기반 증강 간의 LOF 점수 차이가 통계적으로 유의미했다(p < 0.05).
• 고차원, 희소성 있는 InternetAds 데이터셋(1558개 기능)에서도 경쟁력 있는 성능를 보였지만, 다른 데이터셋에 비해 격차가 작아 특성 희소성에 민감할 수 있음을 시사했다.
• NSL-KDD의 U2R 서브셋에서는 ROC AUC에서 두 번째로 높은 성능를 기록했으며, 단지 노이즈 증강 방법에 비해 0.044 AUC 포인트 뒤져서 뒤졌다.
• 단일 이상 유형 데이터셋(예: PenDigits, Spambase, Arrhythmia)에서는 AE 기반 증강이 항상 최고 수준의 방법을 초월하거나 동등하게 성능을 냈으며, 특히 PR AUC에서 두각을 나타냈다.