[논문 리뷰] DFR: Deep Feature Reconstruction for Unsupervised Anomaly Segmentation

Jie Yang, Yong Shi외 1명|arXiv (Cornell University)|2020. 12. 13.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 47

한 줄 요약

DFR는 사전 학습된 CNN에서 다중 스케일 지역 특징 생성기와 합성곱 자동인코더를 도입하여 이미지의 매우 작은 영역을 포함한 이상치를 비지도 방식으로 탐지하고 분할합니다.

ABSTRACT

Automatic detecting anomalous regions in images of objects or textures without priors of the anomalies is challenging, especially when the anomalies appear in very small areas of the images, making difficult-to-detect visual variations, such as defects on manufacturing products. This paper proposes an effective unsupervised anomaly segmentation approach that can detect and segment out the anomalies in small and confined regions of images. Concretely, we develop a multi-scale regional feature generator that can generate multiple spatial context-aware representations from pre-trained deep convolutional networks for every subregion of an image. The regional representations not only describe the local characteristics of corresponding regions but also encode their multiple spatial context information, making them discriminative and very beneficial for anomaly detection. Leveraging these descriptive regional features, we then design a deep yet efficient convolutional autoencoder and detect anomalous regions within images via fast feature reconstruction. Our method is simple yet effective and efficient. It advances the state-of-the-art performances on several benchmark datasets and shows great potential for real applications.

연구 동기 및 목표

• 작고 한정된 이미지 영역에 나타나는 결함에 대해 강건한 비지도 이상 분할을 촉진한다.
• 사전 학습된 CNN으로부터 촘촘하고 맥락 인식이 가능한 지역 표현을 생성하는 다중 스케일 지역 특징 생성기를 제안한다.
• 지역 특징을 재구성하고 재구성 오차를 통해 이상치를 식별하기 위한 경량 합성곱 자동인코더를 개발한다.
• 사전 학습된 특징을 활용하고 파이프라인을 한 번의 순전파로 수행함으로써 효율적인 추론을 가능하게 한다.
• 계산 효율성을 유지하면서 벤치마크 데이터셋에서 최신 성능을 입증한다.

제안 방법

• 사전 학습된 CNN에서 계층적이고 다중 스케일 특징을 추출하여 지역적 및 전역적 맥락을 포착한다.
• 레이어 간 특징 맵을 정렬하고 집계하여 각 이미지 영역에 대한 밀집한 다중 스케일 지역 표현을 형성한다.
• 이 지역 특징들에 대해 합성곱 자동인코더를 학습시켜 정상 영역의 재구성만 학습하도록 한다.
• 지역별 재구성 오차를 이상 점수로 계산하고 세분화를 위해 픽셀 단위 맵으로 업샘플링한다.
• 허용 가능한 거짓 양성률에 기반해 적응 임계값을 결정하고 이상 맵을 이진화한다.

실험 결과

연구 질문

• RQ1 다중 스케일의 영역 중심 CNN 특징이 특히 작은 결함에 대해 비지도 이상 분할을 향상시킬 수 있는가?
• RQ2 CAE로 깊은 특징 표현을 재구성하는 것이 학습 중 이상 예제가 없더라도 정확한 픽셀 수준의 이상 맵을 산출하는가?
• RQ3 제안된 DFR이 표준 벤치마크에서 기존 재구성 기반 및 특징 기반 방법들과 어떻게 비교되는가?
• RQ4 제조 환경에서의 실용적 배치를 위한 계산 효율성이 충분한가?

주요 결과

• MVTec AD 데이터셋의 대부분의 객체 및 텍스처 범주에서 여러 최첨단 기준선보다 우수한 성능을 보인다.
• 사전 학습된 CNN의 다중 스케일 지역 특징을 융합하고 재구성할 때 효과적인 이상 위치화를 생성함을 보여준다.
• 단일 순전파를 사용하고 더 적은 학습 복잡성으로 ST 모델과 비교해 경쟁력 있는 ROC-AUC 및 PRO-AUC 지표를 달성한다.
• 다중 스케일 모델링이 성능 향상에 기여하며, 16-scale 표현이 강한 결과를 낳는다.
• 사전 학습된 CNN을 동결하고 CAE만 학습시키는 방식이 이 방법을 효율적이고 실제 환경에 실용적으로 만든다.