[논문 리뷰] FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

Jiawei Yu, Ye Zheng외 5명|arXiv (Cornell University)|2021. 11. 15.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 214

한 줄 요약

FastFlow는 비지도 이상 탐지 및 픽셀 수준 로컬라이제이션을 위한 2D 정규화 흐름을 도입하고, CNN 또는 ViT 특징 추출기 위에 플러그인으로 작동하여 정상 특징을 표준 정규 분포로 매핑하고 가능도를 이상 점수로 사용합니다.

ABSTRACT

Unsupervised anomaly detection and localization is crucial to the practical application when collecting and labeling sufficient anomaly data is infeasible. Most existing representation-based approaches extract normal image features with a deep convolutional neural network and characterize the corresponding distribution through non-parametric distribution estimation methods. The anomaly score is calculated by measuring the distance between the feature of the test image and the estimated distribution. However, current methods can not effectively map image features to a tractable base distribution and ignore the relationship between local and global features which are important to identify anomalies. To this end, we propose FastFlow implemented with 2D normalizing flows and use it as the probability distribution estimator. Our FastFlow can be used as a plug-in module with arbitrary deep feature extractors such as ResNet and vision transformer for unsupervised anomaly detection and localization. In training phase, FastFlow learns to transform the input visual feature into a tractable distribution and obtains the likelihood to recognize anomalies in inference phase. Extensive experimental results on the MVTec AD dataset show that FastFlow surpasses previous state-of-the-art methods in terms of accuracy and inference efficiency with various backbone networks. Our approach achieves 99.4% AUC in anomaly detection with high inference efficiency.

연구 동기 및 목표

• 비정상 샘플이 드물거나 이용할 수 없을 때 효율적인 비지도 이상 탐지와 로컬라이제이션을 동기화한다.
• 공간 구조를 보존하는 2D 정규화 흐름으로 정상 특징 분포를 모델링한다.
• 다양한 백본과 호환되는 경량의 플러그인 흐름 모듈로 엔드-투-엔드 추론을 가능하게 한다.

제안 방법

• 공간 관계를 보존하도록 완전 합성곱 흐름 블록으로 2D까지 확장된 정규화 흐름을 도입한다.
• 흐름 서브넷에서 3x3과 1x1 합성곱 커널을 교대로 사용해 정확도와 효율성의 균형을 맞춘다.
• 정상 데이터에서 FastFlow를 학습시켜 특징을 표준 정규 분포로 변환하고 그 결과 가능도를 이상 점수로 사용한다.
• 2D 흐름으로부터 직접 픽셀 수준의 이상 맵을 출력하는 엔드-투-엔드 추론을 지원한다.
• CNN의 특징 추출기(예: ResNet)와 비전 트랜스포머(ViT)를 플러그인으로 활용한다.

실험 결과

연구 질문

• RQ1 2D 정규화 흐름이 비지도 이상 탐지를 위해 전역 및 국소 특징 분포를 효과적으로 모델링할 수 있는가?
• RQ2 완전 합성곱 블록이 포함된 2D 흐름이 패치 기반의 슬라이딩 윈도우 없이 이상 로컬라이제이션을 개선하는가?
• RQ3 FastFlow의 성능은 백본( CNN 대 ViT ) 및 흐름 구성에 따라 어떻게 달라지는가?
• RQ4 FastFlow를 사용한 엔드-투-엔드 추론이 패치 기반 또는 KNN 기반 방법보다 더 효율적이면서도 높은 정확도를 유지하는가?

주요 결과

• FastFlow는 MVTec AD에서 이미지 수준 AUC가 최첨단에 도달하고 픽셀 수준 AUC도 경쟁력 있음. 예: 특정 백본에서 99.4 이미지 수준 AUC 및 98.5 픽셀 수준 AUC.
• Patch Core 및 CFlow와 비교했을 때 FastFlow는 추론 속도가 현저히 빠름(일부 구성에서 최대 10배 빠름).
• FastFlow는 ViT와 CNN 백본 전반에서 강한 성능을 유지하며, 공간 정보를 보존하는 2D 흐름 설계로 로컬라이제이션에 이점이 있음.
• 대칭 분해 연구에서 3x3과 1x1 커널을 번갈아 배치하면 더 큰 백본에서 성능이 향상되고 파라미터 수를 줄일 수 있으며, 3x3만 사용할 때는 작은 백본에서 더 잘 작동함.
• 정성적 결과는 비정렬/교란 데이터 시나리오에서도 정확한 로컬라이제이션과 견고한 성능을 보여줌.