[논문 리뷰] MSFlow: Multi-Scale Flow-based Framework for Unsupervised Anomaly Detection

Yixuan Zhou, Xing Xu외 3명|arXiv (Cornell University)|2023. 08. 29.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

MSFlow는 비대칭 병렬 흐름과 경량 융합 흐름을 활용하여 다중 척도 표현을 캡처하는 다중 척도 흐름 기반 프레임워크를 제안한다. 이는 비지도 이상 탐지 및 국소화에 최상의 성능을 기록하며, MVTec AD에서 탐지에 대해 99.7% AUCROC, 국소화에 대해 98.8%를 기록한다.

ABSTRACT

Unsupervised anomaly detection (UAD) attracts a lot of research interest and drives widespread applications, where only anomaly-free samples are available for training. Some UAD applications intend to further locate the anomalous regions without any anomaly information. Although the absence of anomalous samples and annotations deteriorates the UAD performance, an inconspicuous yet powerful statistics model, the normalizing flows, is appropriate for anomaly detection and localization in an unsupervised fashion. The flow-based probabilistic models, only trained on anomaly-free data, can efficiently distinguish unpredictable anomalies by assigning them much lower likelihoods than normal data. Nevertheless, the size variation of unpredictable anomalies introduces another inconvenience to the flow-based methods for high-precision anomaly detection and localization. To generalize the anomaly size variation, we propose a novel Multi-Scale Flow-based framework dubbed MSFlow composed of asymmetrical parallel flows followed by a fusion flow to exchange multi-scale perceptions. Moreover, different multi-scale aggregation strategies are adopted for image-wise anomaly detection and pixel-wise anomaly localization according to the discrepancy between them. The proposed MSFlow is evaluated on three anomaly detection datasets, significantly outperforming existing methods. Notably, on the challenging MVTec AD benchmark, our MSFlow achieves a new state-of-the-art with a detection AUORC score of up to 99.7%, localization AUCROC score of 98.8%, and PRO score of 97.1%. The reproducible code is available at https://github.com/cool-xuan/msflow.

연구 동기 및 목표

• 비지도 이상 탐지에서 이상 크기의 예측 불가능한 변동성을 다루는 데 도전한다. 특히 픽셀 수준의 국소화에 초점을 맞춘다.
• 기존의 흐름 기반 방법이 고정된 척도 특징 표현으로 인해 소형 또는 대형 이상을 다루는 데 어려움을 겪는 한계를 극복한다.
• 각 척도에 특화된 특징 학습과 융합된 특징 학습을 통해 이미지 수준의 탐지 및 픽셀 수준의 국소화를 향상시키는 다중 척도 아키텍처를 설계한다.
• 두 작업 간의 본질적 차이를 활용하기 위해 탐지 및 국소화에 대해 별도의 집계 전략을 개발한다.
• 특히 도전적인 MVTec AD 데이터셋에서 벤치마크 데이터셋에서 최상의 성능을 달성한다.

제안 방법

• 저수준 네트워크 스테이지의 활성화 출력을 활용하여 다중 척도 특징 피라미드를 구축하여 정밀한 국소화를 위한 공간적 세부 정보를 유지한다.
• 비대칭 병렬 흐름을 구현하여 고수준 특징에 더 많은 흐름 블록을 적용함으로써 글로벌 패턴을 깊이 있게 모델링한다.
• 다른 수준 간의 다중 척도 인식을 교환하기 위해 경량 융합 흐름을 도입하여 과도한 계산 없이 표현 학습을 향상시킨다.
• 픽셀 수준의 이상 국소화를 위해 덧셈 기반 집계를 사용하여 척도에 특화된 세부 정보를 유지하고, 이미지 수준의 탐지를 위해 곱셈 기반 집계를 사용하여 노이즈를 억제하고 일관된 이상을 강조한다.
• 상위 K개의 픽셀 수준 이상 점수의 평균을 사용하여 이미지 수준의 이상 점수를 계산하며, 정상성 비율을 기반으로 K를 동적으로 결정하여 강건성을 확보한다.
• 이상이 없는 데이터로만 훈련된 정규화 흐름을 사용하여 모델을 종합적으로 최적화하고, 낮은 확률의 이상을 식별하기 위해 가능도 추정을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 흐름 기반 모델을 소형 결함에서 대규모 이상에 이르기까지 극단적인 이상 크기 변동을 다룰 수 있도록 적응시킬 수 있는가?
• RQ2 다양한 수준의 특징 표현을 조합하기 위한 최적의 다중 척도 아키텍처는 무엇인가?
• RQ3 이상 탐지와 픽셀 수준 국소화에 대해 다중 척도 가능도 출력을 어떻게 다르게 집계해야 최적의 성능을 낼 수 있는가?
• RQ4 하이퍼파라미터 설정(예: 상위 K 집계에서의 K)은 어떤 것이 다양한 이상 유형에서 강건하고 최적의 탐지 성능을 제공하는가?
• RQ5 어떤 이상 레이블도 사용하지 않고도 흐름 기반 프레임워크가 비지도 이상 탐지 및 국소화에서 최상의 성능을 달성할 수 있는가?

주요 결과

• MSFlow는 MVTec AD 벤치마크에서 탐지 AUCROC 점수 99.7%로 새로운 최상의 성능을 기록하며 최신 기준을 초월한다.
• 픽셀 수준의 국소화에서는 국소화 AUCROC 점수 98.8%를 기록하여 비정상 영역을 고정밀도로 식별함을 보여준다.
• PRO 점수는 97.1%에 도달하여 공간적 연결성을 고려한 영역 수준 이상 탐지에서 뛰어난 성능을 보인다.
• 곱셈 기반 집계는 노이즈 억제와 다중 척도에서의 일관된 이상 강조로 인해 이미지 수준 탐지에서 덧셈 기반 집계보다 우수한 성능을 낸다.
• 덧셈 기반 집계는 척도에 특화된 이상 신호를 유지하므로 국소화 성능을 향상시킨다.
• 모델의 탐지 성능은 상위 K 집계의 K에 대해 강건하며, 1%에서 10% 범위에서 99.2% 이상의 AUCROC를 유지하며, 정상성 비율 2–3%에서 최적의 성능을 기록한다.