[논문 리뷰] AnomalyHop: An SSL-based Image Anomaly Localization Method

Kaitai Zhang, Bin Wang외 4명|arXiv (Cornell University)|2021. 05. 08.

Anomaly Detection Techniques and Applications참고 문헌 47인용 수 6

한 줄 요약

AnomalyHop는 정상 이미지의 특징 추출에 연속적인 부분공간 학습(SSL)을 사용하고, 정상 특징 분포를 가우시안 모델로 모델링하며, 이상 지도 융합을 통해 이상 지역을 국소화하는 자기지도 학습(SSL) 기반의 이미지 이상 국소화 방법이다. MVTec AD 데이터셋에서 외부 사전 훈련 데이터 없이도 95.9%의 최고 수준의 ROC-AUC 성능를 달성하였고, 빠른 추론 속도(1장당 0.24초)와 낮은 모델 복잡도(100K 파라미터)를 제공하여 딥 러닝 기반 기준 대비 수학적 투명성과 효율성을 확보하였다.

ABSTRACT

An image anomaly localization method based on the successive subspace learning (SSL) framework, called AnomalyHop, is proposed in this work. AnomalyHop consists of three modules: 1) feature extraction via successive subspace learning (SSL), 2) normality feature distributions modeling via Gaussian models, and 3) anomaly map generation and fusion. Comparing with state-of-the-art image anomaly localization methods based on deep neural networks (DNNs), AnomalyHop is mathematically transparent, easy to train, and fast in its inference speed. Besides, its area under the ROC curve (ROC-AUC) performance on the MVTec AD dataset is 95.9%, which is among the best of several benchmarking methods. Our codes are publicly available at Github.

연구 동기 및 목표

• 이상 훈련 데이터가 제한되거나 전혀 없는 상황에서 이미지 이상 국소화 문제를 해결한다.
• 수학적으로 해석 가능한, 추론 속도가 빠르며, 대규모 사전 훈련된 딥 네트워크에 의존하지 않는 방법을 개발한다.
• GPU 가속이 불가능한 실세계 엣지 환경에서의 효율적 구현을 가능하게 한다.
• 외부 사전 훈련 없이도 다양한 정상 이미지 콘텐츠(예: 무늬, 물체 등)에 대해 일반화 능력을 향상시킨다.
• 유사하거나 더 높은 성능을 보이며 복잡한 DNN 기반 이상 국소화 모델에 비해 경량화된 대안을 제공한다.

제안 방법

• 짧은, 중간, 긴 범위의 이웃에 대해 PCA 기반의 c/w Saab 필터를 적용하여 정상 이미지에서 계층적인 특징을 추출하기 위해 연속적인 부분공간 학습(SSL)을 사용한다.
• 이미지 클래스 특성에 따라 선택된 위치 인식형, 위치 무관형, 자기 기반형의 세 가지 유형의 가우시안 모델을 사용하여 정상 특징의 분포를 모델링한다.
• 학습된 가우시안 모델을 사용해 입력 특징와 재구성된 특징 간의 픽셀 단위 재구성 오차를 계산하여 이상 지도를 생성한다.
• 다양한 특징 수준에서 유도된 다수의 이상 지도를 학습된 또는 고정된 융합 전략을 통해 융합하여 국소화 정확도를 향상시킨다.
• CPU에서 빠른 훈련과 추론을 가능하게 하기 위해 오직 100K 파라미터만을 사용하는 경량 특징 추출기(PixelHop++)를 활용한다.
• 클래스별로 가우시안 모델 유형을 적응적으로 설정한다: 물체 클래스에는 위치 인식형, 균일 무늬에는 위치 무관형, 격자 같은 구조적 패턴에는 자기 기반형을 사용한다.

실험 결과

연구 질문

• RQ1 외부 사전 훈련 없이도 연속적인 부분공간 학습 기반 자기지도 학습 프레임워크가 이미지 이상 국소화에서 최고 수준의 성능을 달성할 수 있는가?
• RQ2 위치 인식형, 위치 무관형, 자기 기반형의 가우시안 모델 선택이 다양한 이미지 카테고리에서 국소화 성능에 미치는 영향은 어떠한가?
• RQ3 경량화된 비-DNN 모델이 높은 정확도를 유지하면서도 추론 속도와 모델 효율성 면에서 딥 러닝 기반 방법을 얼마나 뛰어나게 할 수 있는가?
• RQ4 도메인 특화 미세조정 없이도 AnomalyHop가 무늬, 물체, 구조적 패턴 등 다양한 정상 이미지 콘텐츠에 대해 얼마나 잘 일반화되는가?
• RQ5 종합적으로 복잡한 블랙박스 DNN 기반 접근 방식에 비해, 해석 가능한 비종속적인 방법이 이상 국소화에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• AnomalyHop는 외부 훈련 데이터 없이 MVTec AD 데이터셋에서 ROC-AUC 점수 95.9%를 기록하여, 가장 뛰어난 성능을 보이는 방법 중 하나이다.
• 비교된 모든 방법들 중에서 가장 빠른 추론 속도를 기록하였으며, 표준 CPU에서 1장당 0.24초의 속도를 기록하여 PaDiM보다 28.3배, SPADE보다 28배 더 빠르다.
• 훈련 시간이 매우 효율적이며, 표준 CPU에서 클래스당 단지 2분이면 충분하여 훈련 오버헤드가 낮음을 입증한다.
• 자기 기반 가우시안 모델은 회전 및 조명 변화가 큰 격자 클래스에서 가장 높은 성능를 기록하였고, 위치 인식형 모델은 물체 클래스에서 최적의 성능를 보였다.
• AnomalyHop는 물체 및 무늬 클래스 모두에서 뛰어난 성능를 유지하였으며, 모든 클래스 평균 AUC-ROC는 95.7%이며, 물체 클래스에서는 96.7%를 기록하였다.
• 6000만 파라미터를 가진 더 큰 DNN 기반 모델인 PaDiM보다도 경량 100K 파라미터 특징 추출기(PixelHop++)를 사용함에도 불구하고, 추론 속도와 모델 효율성 면에서 모두 뛰어난 성능를 기록하였다.