[논문 리뷰] On Diffusion Modeling for Anomaly Detection

Victor Livernoche, Vineet Jain외 2명|arXiv (Cornell University)|2023. 05. 29.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 이상 탐지에 대한 Denoising Diffusion Probabilistic Models (DDPM)의 계산 비용이 높은 문제를 해결하기 위해 계산 효율성이 뛰어난 대안인 Diffusion Time Estimation (DTE)을 제안한다. 주어진 입력에 대해 확산 시간에 대한 사후 분포를 추정하고, 이를 모드 또는 평균으로 이용해 이상도를 산정함으로써, DTE는 ADBench 벤치마크에서 DDPM에 비해 수십만 배 빠른 추론 속도를 기록하면서도 경쟁력 있는 성능을 달성한다.

ABSTRACT

Known for their impressive performance in generative modeling, diffusion models are attractive candidates for density-based anomaly detection. This paper investigates different variations of diffusion modeling for unsupervised and semi-supervised anomaly detection. In particular, we find that Denoising Diffusion Probability Models (DDPM) are performant on anomaly detection benchmarks yet computationally expensive. By simplifying DDPM in application to anomaly detection, we are naturally led to an alternative approach called Diffusion Time Estimation (DTE). DTE estimates the distribution over diffusion time for a given input and uses the mode or mean of this distribution as the anomaly score. We derive an analytical form for this density and leverage a deep neural network to improve inference efficiency. Through empirical evaluations on the ADBench benchmark, we demonstrate that all diffusion-based anomaly detection methods perform competitively for both semi-supervised and unsupervised settings. Notably, DTE achieves orders of magnitude faster inference time than DDPM, while outperforming it on this benchmark. These results establish diffusion-based anomaly detection as a scalable alternative to traditional methods and recent deep-learning techniques for standard unsupervised and semi-supervised anomaly detection settings.

연구 동기 및 목표

• 표본, 이미지, 자연어 데이터셋을 포함한 다양한 데이터 유형에서 일반 목적의 이상 탐지에 대해 확산 모델, 특히 DDPM의 성능을 평가하는 것.
• 이상 탐지에서 DDPM의 높은 계산 비용 문제를 해결하기 위해 추론 과정을 단순화하는 것.
• 비순서적 및 반순서적 설정에서도 높은 성능을 유지하면서 더 효율적이고 확장 가능한 DDPM의 대체 방법을 개발하는 것.
• 확산 기반 이상 탐지 방법의 해석 가능성과 일반화 능력을 탐구하는 것.
• ADBench에서 제공하는 57개의 다양한 데이터셋에 대해 기존의 전통적 및 딥러닝 기반 기준 모델과의 성능 비교를 수행하는 것.

제안 방법

• 제안된 DTE는 주어진 입력에 대해 확산 시간에 대한 사후 분포를 추정함으로써 이상 탐지의 대체 지표로 활용하는 방법을 제안한다.
• 확산 시간의 사후 분포에 대해 분석적 형태를 유도함으로써, 비모수적 추정 기법을 도입하여 이는 이상 탐지에서 k-Nearest Neighbors (kNN)와 동일한 성능을 보이게 한다.
• 사후 분포를 모델링하기 위해 파arametric한 딥 뉴럴 네트워크를 도입함으로써, 효율적인 추론과 다양한 데이터셋에서의 개선된 일반화 성능을 달성한다.
• 추정된 확산 시간 분포의 모드 또는 평균을 이상도 점수로 사용하며, 높은 값일수록 이상 가능성은 높아진다.
• 모든 데이터셋과 설정에서 동일한 딥 뉴럴 네트워크 아키텍처를 사용함으로써 확장성과 일반화 능력을 보장한다.
• ADBench 벤치마크를 기반으로 한 방법의 유효성을 검증하였으며, 비순서적 및 반순서적 설정에서 57개의 데이터셋에 대해 성능 및 추론 시간을 비교하였다.

실험 결과

연구 질문

• RQ1 DDPM과 같은 확산 모델이 이미지 전용 작업 외의 다양한 이상 탐지 벤치마크에서도 경쟁적인 성능을 낼 수 있는가?
• RQ2 이상 탐지에서 성능을 유지하면서 DDPM의 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 DDPM 추론을 위한 단순화된 대체 지표는 존재하는가? 이는 성능 유지와 함께 더 빠른 추론을 가능하게 하는가?
• RQ4 단일 딥 뉴럴 네트워크 아키텍처가 표본, 이미지, 텍스트와 같은 다양한 데이터 유형에서 확산 기반 원리에 기반한 이상 탐지에 효과적으로 일반화될 수 있는가?
• RQ5 제안된 DTE 방법은 다양한 데이터셋과 설정에서 기존의 전통적 및 딥러닝 기반 기준 모델과 비교해 성능 및 효율성 면에서 어떻게 다른가?

주요 결과

• DTE는 원래의 DDPM에 비해 수십만 배 빠른 추론 속도를 기록하면서도 ADBench 벤치마크에서 성능을 유지하거나 향상시켰다.
• ADBench의 반순서적 설정에서 DTE는 평균 AUC ROC와 추론 속도 면에서 DDPM을 모두 초월하였으며, 효율성-정확도 트레이드오프 플롯에서 오른쪽 하단에 위치하여 유리한 성능을 보였다.
• 비모수적 DTE의 경우 k-Nearest Neighbors (kNN)와 동일한 이상도 순위를 생성하여, 확산 모델링과 전통적 방법 간의 이론적 연관성을 입증하였다.
• 파arametric한 DTE 모델은 단일 딥 뉴럴 네트워크를 사용하여 57개의 다양한 데이터셋에서 잘 일반화되었으며, 표본, 이미지, 자연어 데이터에서 뛰어난 성능을 보였다.
• DDPM 및 DTE를 포함한 모든 확산 기반 방법은 비순서적 및 반순서적 이상 탐지에서 경쟁적인 성능을 보였으며, 기존의 전통적 방법의 우세함을 도전하였다.
• 본 연구는 확산 기반 이상 탐지 기법이 표준 이상 탐지 설정에서 기존의 전통적 및 최신 딥러닝 기법에 비해 확장 가능하고 효과적인 대안임을 확인하였다.