[논문 리뷰] Prototypical Residual Networks for Anomaly Detection and Localization

Hui Zhang, Zuxuan Wu외 3명|arXiv (Cornell University)|2022. 12. 05.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 프로토타입과 다중 크기 자기주의 메커니즘을 사용하여 비정상 패턴과 정상 패턴 간의 다중 척도 특징 잔차를 학습하는 새로운 비지도 이상 탐지 및 국소화 프레임워크인 프로토타입 잔차 네트워크(Prototypical Residual Networks, PRN)를 제안한다. PRN은 MVTec AD, DAGM, BTAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이미지 수준 및 픽셀 수준 이상 국소화에서 이전 방법들을 능가한다. MVTec AD에서 평균 픽셀 AUROC는 98.2%를 기록한다.

ABSTRACT

Anomaly detection and localization are widely used in industrial manufacturing for its efficiency and effectiveness. Anomalies are rare and hard to collect and supervised models easily over-fit to these seen anomalies with a handful of abnormal samples, producing unsatisfactory performance. On the other hand, anomalies are typically subtle, hard to discern, and of various appearance, making it difficult to detect anomalies and let alone locate anomalous regions. To address these issues, we propose a framework called Prototypical Residual Network (PRN), which learns feature residuals of varying scales and sizes between anomalous and normal patterns to accurately reconstruct the segmentation maps of anomalous regions. PRN mainly consists of two parts: multi-scale prototypes that explicitly represent the residual features of anomalies to normal patterns; a multisize self-attention mechanism that enables variable-sized anomalous feature learning. Besides, we present a variety of anomaly generation strategies that consider both seen and unseen appearance variance to enlarge and diversify anomalies. Extensive experiments on the challenging and widely used MVTec AD benchmark show that PRN outperforms current state-of-the-art unsupervised and supervised methods. We further report SOTA results on three additional datasets to demonstrate the effectiveness and generalizability of PRN.

연구 동기 및 목표

• 산업 결함 검출에서 데이터 불균형, 미세한 이상의 외관, 변동하는 이상 크기/형상 등의 과제를 해결하기 위해.
• 다양한 척도에서 비정상 패턴과 정상 패턴 간의 특징 잔차를 학습하여 이상 국소화 정확도를 향상시키기 위해.
• 수용 필드 내의 패치 수준 불일치를 포괄하는 다중 크기 자기주의 메커니즘을 통해 다양한 이상을 견고하게 탐지할 수 있도록 하기 위해.
• 이전 방법들이 이미지 수준의 감독에 국한된 한계를 극복하기 위해, 세그먼테이션 맵 재구성에 픽셀 수준의 감독을 사용함으로써.
• 새로운 이상 생성 전략을 통해 훈련 중에 이상의 일반화 능력과 다양성을 향상시키기 위해.

제안 방법

• 중간 특징 맵에서 유도된 다중 척도 프로토타입을 사용하여 정상 패턴을 표현함으로써 공간 정보를 유지하고 정확한 정상 패턴 모델링을 가능하게 한다.
• 각 척도에서 비정상 이미지와 가장 가까운 프로토타입 간의 편차로 특징 맵 잔차를 계산하여 이상에 특화된 편차를 포착한다.
• 다양한 척도 간의 정보 교환을 위해 다중 척도 융합 블록을 도입하여 이상 탐지에 적합한 특징 표현을 향상시킨다.
• 다양한 수용 필드를 가진 패치에 대해 작동하는 다중 크기 자기주의 메커니즘을 통해 다중 공간 척도에서의 불일치를 탐지한다.
• 보이는가, 보이지 않는가의 외관 변동을 시뮬레이션하기 위해 이상 생성 전략을 설계하여 훈련의 다양성과 강건성을 높인다.
• 지표 이상 세그먼테이션 맵의 재구성에 픽셀 수준의 감독을 사용하여 훈련함으로써 정밀한 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 척도 프로토타입은 이상 탐지에 있어 공간 세부 정보를 유지하면서 정상 패턴을 효과적으로 표현할 수 있는가?
• RQ2 다중 크기 자기주의 메커니즘은 크기와 형상이 변하는 이상을 향상된 방식으로 탐지할 수 있는가?
• RQ3 비정상 패턴과 프로토타입 기반 정상 패턴 간의 특징 잔차를 학습하는 것이 직접 재구성 또는 일변도 모델링보다 더 나은 국소화 성능을 제공하는가?
• RQ4 세그먼테이션 맵 재구성에 픽셀 수준의 감독이 이미지 수준의 감독보다 미세한 이상을 국소화하는 데 더 우수한 성능을 발휘하는가?
• RQ5 PRN은 다양한 이상 유형과 외관을 가진 다양한 데이터셋 간에 일반화 능력이 우수한가?

주요 결과

• PRN은 MVTec AD 벤치마크에서 평균 픽셀 AUROC 98.2%를 기록하여 이전의 비지도 및 지도 학습 방법들을 모두 능가한다.
• DAGM 데이터셋에서 PRN은 이미지 AUROC 94.7%와 pro 점수 78.0%를 달성하여 이전 최신 기술 수준(SOTA)을 상당한 격차로 뛰어넘었다.
• BTAD에서 PRN은 픽셀 AUROC 97.1%와 AP 54.0%를 기록하여 다양한 산업 결함 유형에 걸쳐 강력한 일반화 능력을 보였다.
• 정성적 결과는 PRN이 크기나 형상이 다양한 이상, 특히 작은 결함이나 비정형 결함을 정확히 국소화하는 동시에 정상 영역에서의 잡음(가짜 경고)을 줄임을 보여준다.
• 이미지 수준 및 픽셀 수준 성능에서 DRA와 DevNet을 모두 능가하며, 이미지 수준 점수는 높지만 픽셀 수준 국소화 성능이 떨어지는 불일치 문제를 해결한다.
• 절단 실험 결과 다중 척도 프로토타입과 다중 크기 자기주의가 핵심 구성 요소임을 확인하였으며, 이들을 제거할 경우 성능이 크게 저하됨을 확인하였다.