[논문 리뷰] Zero-Shot Anomaly Detection via Batch Normalization

Aodong Li, Chen Qiu외 4명|arXiv (Cornell University)|2023. 02. 15.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

Adaptive Centered Representations (ACR)을 도입하는 제로샷 배치 수준 이상 탐지 방법으로, 배치 정규화와 메타-훈련을 활용해 재훈련 없이 표형 및 이미지 데이터에서 미지의 AD 태스크로 일반화합니다.

ABSTRACT

Anomaly detection (AD) plays a crucial role in many safety-critical application domains. The challenge of adapting an anomaly detector to drift in the normal data distribution, especially when no training data is available for the "new normal," has led to the development of zero-shot AD techniques. In this paper, we propose a simple yet effective method called Adaptive Centered Representations (ACR) for zero-shot batch-level AD. Our approach trains off-the-shelf deep anomaly detectors (such as deep SVDD) to adapt to a set of inter-related training data distributions in combination with batch normalization, enabling automatic zero-shot generalization for unseen AD tasks. This simple recipe, batch normalization plus meta-training, is a highly effective and versatile tool. Our theoretical results guarantee the zero-shot generalization for unseen AD tasks; our empirical results demonstrate the first zero-shot AD results for tabular data and outperform existing methods in zero-shot anomaly detection and segmentation on image data from specialized domains. Code is at https://github.com/aodongli/zero-shot-ad-via-batch-norm

연구 동기 및 목표

• 새로운 정상(normal) 분포에 대해 라벨링된 학습 데이터 없이 분포 드리프트에 이상 탐지기를 적응시키는 문제를 다룬다.
• 다른 분포들을 정렬하기 위해 배치 정규화를 활용하는 경량의 제로샷 AD 방법을 제안한다.
• 미지의 AD 태스크에 대한 자동 제로샷 일반화를 가능하게 하는 메타-훈련 체계를 개발한다.
• 일반화 경계(generalization bound)를 통한 이론적 정당화를 제공하고 표 형식과 이미지 도메인 전반에서 효과를 입증한다.

제안 방법

• 배치 정규화를 적응 메커니즘으로 사용해 배치를 재중심화하고 재스케일링하여 정상 샘플이 원점 근처에 군집하고 이상치가 벗어나도록 만든다.
• 일반적으로 사용 가능한 딥 이상 탐지기(예: DSVDD, 신경 변환 학습)를 서로 연관된 분포의 메타-훈련 세트에서 학습시켜 배치 정규 기반의 적응을 학습한다.
• 메타 아웃라이어 노출(Meta Outlier Exposure)을 도입해 훈련 분포를 다른 분포의 데이터 비율과 혼합하여 정상 경계를 더 촘촘하게 만든다.
• 메타-훈련 배치 내에서 정상 vs 이상 샘플에 대한 감독 신호로 작동하는 표준 이상 점수와 반대(역) 점수를 모두 포함하는 손실 함수를 공식화한다.
• 새로운 분포에 대한 일반화 오차가 변환된 테스트 분포와 평균 학습 분포 간의 총변이(total variation)에 의해 제어된다는 이론적 상한을 제시한다.
• 표 데이터에서 제로샷 AD를 시연하고 이미지 데이터셋(MVTec AD)에서 태스크 특화 재훈련 없이 최첨단 이상 탐지 세그먼트를 달성한다.

Figure 1: a) Demonstrations of concrete examples of a meta-training set and a testing distribution. It is not necessary for the meta-training set to include the exact types of samples encountered during testing. For instance, when detecting lions within geese, the training data does not need to incl

실험 결과

연구 질문

• RQ1 배치 정규화와 메타-훈련을 결합하면 미지의 정상 분포에 대한 이상 탐지기의 제로샷 일반화가 가능해질까?
• RQ2 제안된 ACR 프레임워크는 테스트 시 추가 감독 없이 표 형식 및 이미지 데이터와 이상 비율이 다양할 때 어떻게 성능을 보일까?
• RQ3 이 설정에서 제로샷 일반화에 대한 이론적 보장은 무엇인가?
• RQ4 메타 아웃라이어 노출이 메타-훈련 중 학습된 이상 경계에 어떤 영향을 미치는가?

주요 결과

• ACR은 다수의 분포에서 배치 정규화를 통해 학습함으로써 이상 탐지의 자동 제로샷 일반화를 가능하게 한다.
• ACR은 표 데이터에서 제로샷 AD를 달성하고 이미지 데이터에서 베이스라인보다 우수한 성능을 보이며 비자연적 및 의학 이미지 포함.
• ACR은 MVTec AD 벤치마크에서 이상 탐지 세그먼트의 새로운 최첨단을 정립한다.
• 새로운 분포에 대한 일반화 경계가 변환된 테스트 분포와 평균 학습 분포 간의 총변이에 의해 제어된다는 이론적 일반화 경계가 도출된다.
• 메타 아웃라이어 노출은 다른 분포의 샘플을 훈련 중 이상으로 처리하여 경계의 촘촘함을 향상시킨다.
• ACR은 다양한 이상 비율에 대해 강건하며 테스트 시 태스크 특이적 재훈련이 필요 없다.

Figure 2: Illustration of batch normalization for AD with two tasks $P^{\pi}_{1}$ and $P^{\pi}_{2}$ . The method (batch-)normalizes the data in $P^{\pi}_{j}$ separately. If each $P^{\pi}_{j}$ consists mainly of normal samples, most samples will be shifted close to the origin (by subtracting the resp