[논문 리뷰] Fascinating Supervisory Signals and Where to Find Them: Deep Anomaly Detection with Scale Learning

Hongzuo Xu, Yijie Wang외 4명|arXiv (Cornell University)|2023. 05. 25.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 표본 데이터에 대한 새로운 비지도 이상 탐지 방법인 SLAD를 제안한다. 이 방법은 하위 벡터의 차원 수와 표현 크기 간의 관계인 '스케일'을 데이터 기반의 감독 신호로 도입한다. 다양한 하위 공간에서 표현의 순서를 학습함으로써 분포 정렬을 통해 고차원적 데이터 정규성을 포착하며, 다양한 표본 기반 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 기존의 생성적 및 대비적 방법에 비해 AUC-ROC 성능이 크게 향상된다.

ABSTRACT

Due to the unsupervised nature of anomaly detection, the key to fueling deep models is finding supervisory signals. Different from current reconstruction-guided generative models and transformation-based contrastive models, we devise novel data-driven supervision for tabular data by introducing a characteristic -- scale -- as data labels. By representing varied sub-vectors of data instances, we define scale as the relationship between the dimensionality of original sub-vectors and that of representations. Scales serve as labels attached to transformed representations, thus offering ample labeled data for neural network training. This paper further proposes a scale learning-based anomaly detection method. Supervised by the learning objective of scale distribution alignment, our approach learns the ranking of representations converted from varied subspaces of each data instance. Through this proxy task, our approach models inherent regularities and patterns within data, which well describes data "normality". Abnormal degrees of testing instances are obtained by measuring whether they fit these learned patterns. Extensive experiments show that our approach leads to significant improvement over state-of-the-art generative/contrastive anomaly detection methods.

연구 동기 및 목표

• 기존의 재구성 또는 대비 방법이 덜 적합한 표본 데이터에서 딥 이상 탐지에 효과적인 감독 신호를 설계하는 데 도전한다.
• 저차원 재구성 오차가 아닌 고차원적 구조 패턴을 포착하는 새로운 형태의 데이터 기반 감독을 개발한다.
• 표본 데이터에서 '스케일'을 표현의 학습 가능하고 내재된 특성으로 도입함으로써 비지도 학습을 가능하게 한다.
• 하위 공간 간 표현의 상대적 순서를 모델링하여 정상성을 기반으로 이상 탐지 성능을 향상시킨다.

제안 방법

• 하위 벡터의 차원 수와 표현 크기 간의 수학적 관계로 '스케일'을 정의한다.
• 각 데이터 인스턴스의 무작위 하위 벡터를 표현으로 변환하고, 해당 스킴 값으로 레이블을 붙여 감독 신호를 생성한다.
• 스케일 학습을 분포 정렬 작업으로 정의하며, 모델은 절대값이 아닌 상대적 순서에 따라 표현을 순서 매긴다.
• 예측된 스킴 분포와 진짜 스킴 분포 간의 분포 발산 기반 손실 함수를 사용하여 각 인스턴스의 하위 벡터 간 정렬을 최적화한다.
• 표현을 다양하게 생성하기 위해 학습 가능한 변환 함수(예: 무작위 애핀 또는 MLP)를 사용하며, 정보가 많은 특징을 강조하기 위해 특징 가중치를 적용한다.
• 표현의 정렬 순서를 기반으로 한 스케일 학습을 프록시 작업으로 사용하여 데이터 정규성을 학습하고, 추론 시 학습된 패턴에서의 이탈 정도를 측정해 이상 점수를 도출한다.

Figure 1: A toy example of scales in tabular data. For a tabular data instance described by four features, sub-vectors with varied feature subspaces are randomly sampled from the original space and then transformed into $h$ -dimensional representations. Scale is computed as the mathematical relation

실험 결과

연구 질문

• RQ1 하위 벡터의 차원 수와 표현 크기 간의 관계로 정의되는 '스케일'이 표본 데이터에서 비지도 이상 탐지에 유효한 감독 신호가 될 수 있는가?
• RQ2 스케일 학습을 분포 정렬 작업으로 프레임워크화할 경우, 점별 재구성 또는 분류 기반 방법에 비해 데이터 정규성을 얼마나 더 잘 모델링하는가?
• RQ3 제안된 방법이 다양한 표본 기반 벤치마크에서 최신 기술 수준(SOTA)의 생성적 및 대비적 이상 탐지 모델을 초월하는가?
• RQ4 표현 학습 중 노이즈가 있거나 관련성이 없는 하위 벡터가 존재할 경우, 이 방법의 성능은 얼마나 견고한가?

주요 결과

• SLAD는 10개의 다양한 표본 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 생성적 및 대비적 방법에 비해 뚜렷한 승리를 거두었다.
• 갑상선 데이터셋에서 SLAD는 AUC-ROC 0.995를 기록했으며, 특징 가중치 없이 제거한 아블레이션 대비 4.7% 향상된 성능을 보였다.
• 평균 제곱 오차 손실(L_mse) 사용 시 교차 엔트로피 손실(L_ce) 사용보다 성능이 뛰어나, 정량적 스케일 레이블이 정성적 분류보다 더 효과적임을 시사한다.
• 분포 정렬 기반의 스케일 학습 접근 방식은 분류나 대비 학습과 같은 전통적 프록시 작업보다 뛰어나며, Waveform에서는 54.1% 향상, Thrombin에서는 90.9% 향상된 성능을 기록했다.
• 무작위 애핀 변환(T_Zero)을 사용한 SLAD는 대부분의 데이터셋에서 MLP 기반 변환보다 더 뛰어난 성능을 보였으며, 단순하고 데이터 증강 기능을 갖춘 변환의 효과를 입증했다.
• Thrombin과 같은 초고차원 데이터에서는 T_Zero가 계산적 제약으로 인해 실패하지만, SLAD는 저차원 특징 가중치를 통해 강력한 성능을 유지한다.

Figure 2: Overall framework of SLAD. For an original data instance $\mathbf{x}$ , SLAD first generates a group of $c$ sub-vectors $\{\mathbf{x}_{(\mathcal{S}_{i})}\}_{i=1}^{c}$ via random sampling, where $\mathbf{x}_{(\mathcal{S}_{i})}$ is the sub-vector of $\mathbf{x}$ on the subspace $\mathcal{S}_