[논문 리뷰] Siamese Transition Masked Autoencoders as Uniform Unsupervised Visual Anomaly Detector

Haiming Yao, Xue Wang외 1명|arXiv (Cornell University)|2022. 11. 01.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 분리된 특징 패치에서 시amese 인코더를 통해 깊이 있는 특징 전이를 활용하여 강력한 정상 패턴을 학습하는 통합된 비지도 시각적 이상 탐지 프레임워크인 시amese 전이 마스킹 오토인코더(ST-MAE)를 제안한다. 이 방법은 높은 추론 효율성과 뛰어난 일반화 능력을 갖추고 있으며, 특히 소수의 샘플이 있는 설정에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised visual anomaly detection conveys practical significance in many scenarios and is a challenging task due to the unbounded definition of anomalies. Moreover, most previous methods are application-specific, and establishing a unified model for anomalies across application scenarios remains unsolved. This paper proposes a novel hybrid framework termed Siamese Transition Masked Autoencoders(ST-MAE) to handle various visual anomaly detection tasks uniformly via deep feature transition. Concretely, the proposed method first extracts hierarchical semantics features from a pre-trained deep convolutional neural network and then develops a feature decoupling strategy to split the deep features into two disjoint feature patch subsets. Leveraging the decoupled features, the ST-MAE is developed with the Siamese encoders that operate on each subset of feature patches and perform the latent representations transition of two subsets, along with a lightweight decoder that reconstructs the original feature from the transitioned latent representation. Finally, the anomalous attributes can be detected using the semantic deep feature residual. Our deep feature transition scheme yields a nontrivial and semantic self-supervisory task to extract prototypical normal patterns, which allows for learning uniform models that generalize well for different visual anomaly detection tasks. The extensive experiments conducted demonstrate that the proposed ST-MAE method can advance state-of-the-art performance on multiple benchmarks across application scenarios with a superior inference efficiency, which exhibits great potential to be the uniform model for unsupervised visual anomaly detection.

연구 동기 및 목표

• 다양한 응용 시나리오에서 비지도 시각적 이상 탐지(VAD) 문제를 하나의 통합 모델로 해결한다.
• 기존 방법들이 응용 분야에 특화되어 있거나 이상 유형 간 일반화 능력이 떨어지는 한계를 극복한다.
• 깊이 있는 특징 전이를 통한 의미론적 자기지도 학습 작업을 도입하여 탐지 정확도와 강건성을 향상시킨다.
• 특징 분리와 전이를 통해 많은 수의 암시적 사전 훈련 작업을 활용하여 저자료 환경에서도 효과적인 성능을 달성한다.
• 단일 아키텍처로 이미지 수준과 픽셀 수준의 이상 로컬라이제이션을 모두 수행하여 별도의 모델이 필요 없도록 한다.

제안 방법

• 입력 이미지에서 계층적인 의미론적 특징을 추출하기 위해 사전 훈련된 깊이 있는 컨volutional 신경망(DCNN)을 사용한다.
• 깊이 있는 특징 맵을 두 개의 상호 배타적이고 상보적인 패치 하위집합으로 분리하는 특징 분리 전략을 적용한다.
• 각 하위집합을 별도로 처리하기 위해 시amese 인코더를 활용하여 가시 패치에서 잠재 표현을 학습한다.
• 두 개의 인코딩된 특징 하위집합 간에 순서 위치를 교환하는 깊이 있는 특징 전이 메커니즘을 도입하여 자기지도 신호를 생성한다.
• 전이된 잠재 표현에 경량 디코더를 적용하여 원본 특징 맵을 재구성한다.
• 원본 특징과 재구성된 특징 간의 의미론적 깊이 특징 잔차를 이상도 맵으로 계산한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 작업에 특화된 적응 없이 다양한 시각적 이상 탐지 작업—검사 및 로컬라이제이션—을 효과적으로 처리할 수 있는가?
• RQ2 제안된 깊이 있는 특징 전이 메커니즘이 표준 오토인코더에 비해 정상 패턴과 이상 패턴을 구분하는 데 모델의 능력을 어떻게 향상시키는가?
• RQ3 ST-MAE 모델은 전반적인 의미론적 이동과 국소적 구조적 열화와 같은 다양한 이상 유형에 대해 얼마나 잘 일반화되는가?
• RQ4 소수의 정상 샘플만 존재하는 저자료 훈련 조건에서 모델의 성능은 어떠한가?
• RQ5 깊이 있는 특징 전이 메커니즘이 오토인코더에서 흔히 발생하는 정체성 매핑 문제를 완화하여 재구성의 구분 능력을 향상시키는가?

주요 결과

• ST-MAE는 다양한 응용 시나리오에서 뛰어난 일반화 능력을 보이며 여러 VAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 16개 샘플 설정에서 MVTec AD 데이터셋에서 평균 픽셀 수준 AUC ROC가 86.6%를 기록하여 기존의 소수 샘플 기반 방법인 SPADE와 PaDim을 초월한다.
• 절단 실험 결과는 깊이 있는 특징 전이 메커니즘이 정체성 매핑을 억제하고 특징의 구분 능력을 향상시키는 데 필수적임을 확인한다.
• 시각화 결과는 ST-MAE가 이상을 정상 패턴으로 재구성함으로써 원형 정상 특징을 효과적으로 학습하고 있음을 나타낸다.
• 경량 디코더와 특징 수준의 재구성 덕분에 높은 추론 효율성을 보이며 실시간 배포에 적합하다.
• 특징 분리와 전이를 통해 생성된 암시적 사전 훈련 작업의 수($C_{N^2}^{N^2/2}$)는 저자료 환경에서의 강건성을 크게 향상시킨다.