[논문 리뷰] A Unified Model for Multi-class Anomaly Detection

Zhiyuan You, Lei Cui외 5명|arXiv (Cornell University)|2022. 06. 08.

Anomaly Detection Techniques and Applications인용 수 87

한 줄 요약

UniAD는 레이어별 쿼리 디코딩, 이웃 마스크 어텐션, 그리고 특성 흔들기(feature jittering)을 사용하여 재구성 기반 방법의 정체성 바로가기 문제를 해결하면서, 미세 조정 없이 여러 클래스에 걸쳐 이상치를 탐지하고 위치를 식별하는 단일 프레임워크를 제시한다.

ABSTRACT

Despite the rapid advance of unsupervised anomaly detection, existing methods require to train separate models for different objects. In this work, we present UniAD that accomplishes anomaly detection for multiple classes with a unified framework. Under such a challenging setting, popular reconstruction networks may fall into an "identical shortcut", where both normal and anomalous samples can be well recovered, and hence fail to spot outliers. To tackle this obstacle, we make three improvements. First, we revisit the formulations of fully-connected layer, convolutional layer, as well as attention layer, and confirm the important role of query embedding (i.e., within attention layer) in preventing the network from learning the shortcut. We therefore come up with a layer-wise query decoder to help model the multi-class distribution. Second, we employ a neighbor masked attention module to further avoid the information leak from the input feature to the reconstructed output feature. Third, we propose a feature jittering strategy that urges the model to recover the correct message even with noisy inputs. We evaluate our algorithm on MVTec-AD and CIFAR-10 datasets, where we surpass the state-of-the-art alternatives by a sufficiently large margin. For example, when learning a unified model for 15 categories in MVTec-AD, we surpass the second competitor on the tasks of both anomaly detection (from 88.1% to 96.5%) and anomaly localization (from 89.5% to 96.8%). Code is available at https://github.com/zhiyuanyou/UniAD.

연구 동기 및 목표

• 여러 객체 클래스에 걸친 이상 탐지를 단일 모델로 가능하게 하고 동기를 부여한다.
• 재구성 기반 이상 탐지에서의 “정체성 바로가기(identity shortcut)”를 식별하고 완화하며, 특히 통합 다중 클래스 설정 하에서 그렇다.
• 다중 클래스 분포 모델링을 보존하면서 이상치의 용이한 재구성을 방지하는 아키텍처 및 학습 전략을 개발한다.
• 통합 다대다 설정 하에서 표준 벤치마크(MVTec-AD 및 CIFAR-10)에서 최첨단 성능을 입증한다.

제안 방법

• 고정 백본 특성 추출기를 가진 트랜스포머 기반 특징 재구성 프레임워크를 채택한다.
• 재구성 중 입력에서 출력으로의 정보 누출을 방지하기 위해 이웃 마스크드 어텐션(NMA) 모듈을 도입한다.
• 다층 디코더에서 학습 가능한 쿼리 임베딩을 활용하기 위해 레이어별 쿼리 디코더(LQD)를 구현하여 다중 클래스 분포의 모델링을 강화한다.
• 입력 특징에 요동을 가해 재구성 작업을 노이즈 제거(denoising)로 간주하도록 특징 흔들기(FJ)를 적용하여 노이즈 입력에 대한 강건성을 향상시킨다.
• 원래 특징과 재구성된 특징 간의 표준 MSE 손실로 학습하여 재구성 차이를 통한 이상 탐지 위치화를 가능하게 한다.
• 다단계 특징 추출을 위한 고정 EfficientNet-B4 백본을 활용하고 재구성을 위해 단계 간 특징을 연결한다.

실험 결과

연구 질문

• RQ1 클래스별 세부 조정 없이 단일 통합 모델이 많은 객체 클래스에 대해 효과적으로 이상치를 탐지하고 위치를 식별할 수 있는가?
• RQ2 재구성 기반 이상 탐지가 특히 통합 다중 클래스 설정에서 정체성 바로가기를 어떻게 회피할 수 있는가?
• RQ3 쿼리 임베딩, 마스크드 어텐션, 특징 흔들기와 같은 아키텍처 선택이 이상 탐지에서 표준 트랜스포머보다 성능을 개선하는가?
• RQ4 이 구성 요소들이 통합 설정 하에서 이상 탐지 정확도와 위치화에 어떤 영향을 미치는가?
• RQ5 통합 설정과 개별 설정에서 MVTec-AD 및 CIFAR-10에서 UniAD의 성능은 최첨단 방법들과 비교했을 때 어떤가?

주요 결과

• UniAD는 통합 설정에서 MVTec-AD에 대해 최첨단 이상 탐지 및 위치화 성능을 달성했으며, 두 작업 모두에서 이전 최적 방법보다 큰 차이로 우위를 보였다.
• MVTec-AD의 15-카테고리 통합 모델에서 이상 탐지 AUROC은 88.1%(이전 최고)에서 96.5%로, 위치화는 89.5%에서 96.8%로 개선된다.
• 통합 설정 하의 단일 UniAD 모델이 카테고리 간에 높은 성능을 유지하며, 별도 케이스에 비해 최소한의 감소를 보인다.
• 레이어별 쿼리 임베딩, 이웃 마스크 어텐션, 특징 흔들기가 함께 강력한 성능에 기여하며, 어블레이션(ablation)을 통해 각 구성요소의 중요성이 확인된다.
• 통합 설정 하의 CIFAR-10에서 UniAD는 네 가지 범주 조합에서 기준 방법을 능가하며, 보조 이상치 노출 없이 평균 AUROC 87.2%를 달성한다.