[논문 리뷰] Deep Semi-Supervised Anomaly Detection

Lukas Ruff, Robert A. Vandermeulen외 5명|arXiv (Cornell University)|2019. 06. 06.

Anomaly Detection Techniques and Applications참고 문헌 77인용 수 31

한 줄 요약

이 논문은 레이블이 부여된 정상 및 비정상 샘플을 모두 활용하여 검출 성능을 햖थ한 엔드 투 엔드 딥 세미-서프로바이드드 이상 탐지 방법인 Deep SAD를 제안한다. 정상 데이터의 잠재 엔트로피를 최소화하고 비정상 데이터의 엔트로피를 최대화하는 정보 이론적 프레임워크를 도입함으로써, Deep SAD는 MNIST, Fashion-MNIST, CIFAR-10 및 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 레이블이 극히 적은 경우에도 성립한다.

ABSTRACT

Deep approaches to anomaly detection have recently shown promising results over shallow methods on large and complex datasets. Typically anomaly detection is treated as an unsupervised learning problem. In practice however, one may have---in addition to a large set of unlabeled samples---access to a small pool of labeled samples, e.g. a subset verified by some domain expert as being normal or anomalous. Semi-supervised approaches to anomaly detection aim to utilize such labeled samples, but most proposed methods are limited to merely including labeled normal samples. Only a few methods take advantage of labeled anomalies, with existing deep approaches being domain-specific. In this work we present Deep SAD, an end-to-end deep methodology for general semi-supervised anomaly detection. We further introduce an information-theoretic framework for deep anomaly detection based on the idea that the entropy of the latent distribution for normal data should be lower than the entropy of the anomalous distribution, which can serve as a theoretical interpretation for our method. In extensive experiments on MNIST, Fashion-MNIST, and CIFAR-10, along with other anomaly detection benchmark datasets, we demonstrate that our method is on par or outperforms shallow, hybrid, and deep competitors, yielding appreciable performance improvements even when provided with only little labeled data.

연구 동기 및 목표

• 기존의 세미-서프로바이드드 이상 탐지 방법이 레이블이 부여된 정상 샘플만 사용하는 한계를 해결하기 위해, 비정상 샘플의 레이블을 통합하여 모델의 일반화 능력을 향상시키는 것.
• 특정 데이터 유형이나 도메인에 제한되지 않는 일반 목적의 딥 이상 탐지 프레임워크를 개발하는 것.
• Infomax 원칙에 기반한 정보 이론적 해석을 통해 딥 이상 탐지의 이론적 기반을 마련하고, 모델 행동을 잠재 공간 내 엔트로피 최소화와 연결하는 것.
• 정상 및 비정상 레이블을 모두 활용한 세미-서프로바이드드 학습이, 특히 고차원, 복잡한 데이터에서 비정상 탐지 성능을 어떻게 크게 향상시키는지 입증하는 것.

제안 방법

• 비정상 샘플의 레이블을 포함한 세미-서프로바이드드 설정으로 비정상 Deep SVDD 방법을 확장하여, 레이블이 없는 데이터와 레이블이 있는 데이터를 함께 최적화하는 복합 손실 함수를 사용하는 것.
• 정상 샘플의 잠재 표현 엔트로피를 최소화하고 비정상 샘플의 엔트로피를 최대화하는 새로운 손실 함수를 도입하여, 정상 데이터에 대해 밀도를 유지하고 비정상 데이터에 대해 흩어진 구조를 강제하는 것.
• 딥 신경망을 사용하여 입력 데이터를 잠재 공간으로 매핑하며, 정상 클래스는 원점 중심의 초구형으로 특징화되며, 중심은 엔드 투 엔드로 학습된다.
• 레이블이 부여된 비정상 샘플을 정상 초구형에서 분리하기 위해 마진 기반의 대비 손실을 적용하여, 완전한 분류 없이도 분류 성능을 향상시키는 것.
• 재구성 손실, 중심 손실, 엔트로피 기반 정규화를 조합하여 모델을 최적화하며, 탄탄한 성능을 확보하기 위해 하이퍼파rameter를 조정하는 것.
• 입력과 잠재 표현 간 상호정보량을 최대화하는 표현 학습 목표를 통합하여, 밀도 특성화 이전에 충분한 정보 유지가 이루어지도록 하는 것.

실험 결과

연구 질문

• RQ1 정상 및 비정상 레이블을 모두 활용하는 딥 세미-서프로바이드드 이상 탐지 방법이, 이전의 비정상 및 일류 분류 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 특히 CIFAR-10과 같은 복잡하고 고차원적인 데이터셋에서 비정상 레이블을 통합함으로써 탐지 성능가 어떻게 향상되는가?
• RQ3 정상 데이터에 대해 엔트로피를 최소화하고 비정상 데이터에 대해 최대화하는 정보 이론적 프레임워크가 딥 이상 탐지의 타당하고 효과적인 이론적 해석으로서 유효한가?
• RQ4 엔트로피 가중 계수 η와 잠재 공간 차원 d와 같은 하이퍼파rameter의 선택에 대해 이 방법이 얼마나 강인한가?
• RQ5 Deep SAD는 다양한 데이터 유형, 특히 비이미지 기반 벤치마크 데이터셋에서도 일반화 가능한가? 그리고 저차원 데이터셋에서 얕은 커널 기반 방법과 비교해 볼 때 어떤가?

주요 결과

• Deep SAD는 MNIST, Fashion-MNIST, CIFAR-10에서 최신 기술 수준의 성능을 달성하며, 얕은 모델과 깊은 모델 모두를 능가한다.
• 비정상 샘플 레이블이 10개뿐인 경우에도 성능 향상이 뚜렷하게 나타나, 세미-서프로바이드드 환경에서 매우 높은 데이터 효율성을 보인다.
• 실험 결과, η의 하이퍼파라미터에 대해 안정적인 AUC 성능을 유지하며, 10⁻²에서 10²의 넓은 범위에서 유사한 성능 수준을 확보한다.
• 잠재 공간 차원 d가 높아질수록 탐지 성능이 향상되며, 상한선에 수렴함을 보여, 충분한 표현 능력이 최적의 성능을 내기 위해 필수적임을 시사한다.
• 전통적인 비이미지 기반 벤치마크 데이터셋에서, Deep SAD는 하이퍼파라미터 우월성을 가진 얕은 커널 기반 방법과도 경쟁 가능하며, 다양한 데이터 유형에 대한 강력한 일반화 능력을 보여준다.
• 엔트로피 최소화 및 최대화 기반의 정보 이론적 프레임워크는 딥 이상 탐지의 타당하고 해석 가능한 이론적 기반을 제공하며, 모델 설계 및 행동을 뒷받침한다.