[논문 리뷰] Sub-Image Anomaly Detection with Deep Pyramid Correspondences

Niv Cohen, Yedid Hoshen|arXiv (Cornell University)|2020. 05. 05.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 325

한 줄 요약

SPADE는 다해상도 특성 피라미드와 최근접 이웃 이미지 대응을 사용하여 광범위한 학습 없이도 이미지 내 이상치를 탐지하고 국소화합니다.

ABSTRACT

Nearest neighbor (kNN) methods utilizing deep pre-trained features exhibit very strong anomaly detection performance when applied to entire images. A limitation of kNN methods is the lack of segmentation map describing where the anomaly lies inside the image. In this work we present a novel anomaly segmentation approach based on alignment between an anomalous image and a constant number of the similar normal images. Our method, Semantic Pyramid Anomaly Detection (SPADE) uses correspondences based on a multi-resolution feature pyramid. SPADE is shown to achieve state-of-the-art performance on unsupervised anomaly detection and localization while requiring virtually no training time.

연구 동기 및 목표

• 학습 중에 정상 데이터만 사용할 수 있을 때 이미지 내 이상을 위치시키고 분할하는 문제에 대응한다.
• 픽셀 수준의 로컬라이제이션을 제공하는 빠르고 학습경량의 이상 탐지 프레임워크를 개발한다.
• 사전 학습된 깊은 특징과 다해상도 특성 피라미드를 활용하여 이미지 간 강건한 대응을 가능하게 한다.

제안 방법

• 전 이미지 및 픽셀 위치에 대해 사전 학습된 깊은 특징(ImageNet-resnet)을 추출한다.
• 이미지 수준 특징을 사용하여 K개의 가장 가까운 정상 이미지를 검색하여 정상 컨텍스트를 식별한다.
• K개 이웃 정상으로부터 픽셀 수준 특징 갤러리를 구성하고 각 픽셀에 대해 밀집 대응을 계산한다.
• 갤러리에서 가장 가까운 k개 특징까지의 평균 거리로 픽셀당 이상 점수를 계산한다.
• 다중 수준 ResNet 특징을 연결하여 컨텍스트 간에 강건한 픽셀 대응을 달성하기 위해 특징 피라미드를 사용한다.
• 로컬 특징 거리의 임계값을 초과하면 픽셀을 이상으로 레이블링하고 최종 맵에 가우시안 평활화를 적용한다.

실험 결과

연구 질문

• RQ1 명시적 이상 학습 데이터 없이 KNN 기반의 대응 중심 접근 방식이 서브-이미지 이상치를 로컬라이즈할 수 있는가?
• RQ2 다중 스케일 특징 피라미드를 도입하는 것이 단일 스케일 특징에 비해 픽셀 수준 로컬라이제이션 정확도를 향상시키는가?
• RQ3 산업용(MVTech) 및 감시용(Shanghai Tech Campus) 데이터셋에서 이미지 수준 및 픽셀 수준 지표로 방법의 성능은 어떠한가?
• RQ4 사전 학습된 ImageNet 특징과 자기지도 학습된 특징을 사용하는 것이 이상 탐지 및 로컬라이제이션에 어떤 영향을 미치는가?

주요 결과

• SPADE는 MVTech 및 Shanghai Tech Campus 데이터셋에서 서브-이미지 이상 탐지 및 로컬라이제이션에서 최첨단 성능을 달성한다.
• 다층 특성 피라미드를 사용하는 것이 단일 계층 특징보다 픽셀 수준 로컬라이제이션 정확도를 향상시킨다.
• 이 방법은 강력한 이미지 수준 이상 탐지와 여러 오토인코더 기반 방법들보다 픽셀 수준 ROCAUC 및 PRO 점수를 현저하게 향상시킨다.
• 이 방법은 사전 학습 특징 추출 및 최근접 이웃 탐색 외에는 사실상 학습 시간이 필요하지 않다.