[논문 리뷰] Data refinement for fully unsupervised visual inspection using pre-trained networks

Antoine Cordier, Benjamin Missaoui외 1명|arXiv (Cornell University)|2022. 02. 25.

Industrial Vision Systems and Defect Detection인용 수 8

한 줄 요약

이 논문은 사전 훈련된 네트워크를 사용한 완전 무 supervision 시각 이상 탐지에 대해 간단하면서도 효과적인 데이터 정제 전략인 SROC을 제안한다. 오염된 훈련 세트에서 결함이 있는 샘플을 반복적으로 식별하고 제거함으로써 SROC은 복잡한 기준 모델인 STOC을 능가하는 성능을 회복한다. 동시에 KNN 기반 방법이 맨하탄노스 기반 접근 방식보다 데이터 오염에 더 강건한 이유는 임bedding 공간의 분포 특성 때문임을 보여준다.

ABSTRACT

Anomaly detection has recently seen great progress in the field of visual inspection. More specifically, the use of classical outlier detection techniques on features extracted by deep pre-trained neural networks have been shown to deliver remarkable performances on the MVTec Anomaly Detection (MVTec AD) dataset. However, like most other anomaly detection strategies, these pre-trained methods assume all training data to be normal. As a consequence, they cannot be considered as fully unsupervised. There exists to our knowledge no work studying these pre-trained methods under fully unsupervised setting. In this work, we first assess the robustness of these pre-trained methods to fully unsupervised context, using polluted training sets (i.e. containing defective samples), and show that these methods are more robust to pollution compared to methods such as CutPaste. We then propose SROC, a Simple Refinement strategy for One Class classification. SROC enables to remove most of the polluted images from the training set, and to recover some of the lost AUC. We further show that our simple heuristic competes with, and even outperforms much more complex strategies from the existing literature.

연구 동기 및 목표

• 훈련 데이터에 결함이 있는 샘플이 포함될 수 있는 완전 무 supervision 환경에서 사전 훈련된 특징 기반 이상 탐지 방법의 강건성 평가
• 기존 문헌의 격차를 메우기 위해 오염된 데이터를 가진 진정된 무 supervision 환경에서 사전 훈련된 방법을 연구함
• 결함이 있는 샘플을 훈련 세트에서 제거하여 성능을 복원하는 단순하고 방법에 종속되지 않는 정제 전략(SROC) 제안
• 특정 방법(예: KNN)이 다른 방법(예: 맨하탄노스)보다 데이터 오염에 더 강건한 이유에 대한 정량적 및 정성적 통찰 제공

제안 방법

• SROC은 사전 훈련된 특징로부터 유도된 이상도 점수를 기반으로 훈련 샘플을 점수 매기고 순위를 매김으로써 이상 탐지기 자체를 활용한다.
• 반복적으로 이상도 점수가 가장 높은(가장 이상적인) 샘플을 훈련 세트에서 제거한다.
• 정제된 훈련 세트는 동일한 탐지기로 재평가되어 성능 향상을 평가한다.
• 이 방법은 KNN, 맨하탄노스, PaDiM, PatchCore의 네 가지 사전 훈련된 특징 기반 탐지기 모두에 적용되며, 백본으로 EfficientNet-B4를 사용한다.
• 이 방법은 후속 이상 탐지 방법에 종속되지 않도록 설계되어 광범위한 적용 가능성을 확보한다.
• 결함이 있는 샘플이 임베딩 공간에서 건강한 샘플과 멀리 떨어져 있음을 활용하여 효과적으로 고립하고 제거할 수 있다.

실험 결과

연구 질문

• RQ1 완전 무 supervision 환경에서 훈련 데이터에 결함이 있는 샘플이 포함된 경우, 사전 훈련된 특징 기반 이상 탐지 방법의 강건성은 어떠한가?
• RQ2 간단한 히우리스틱 기반 정제 전략이 무 supervision 시각 검사에서 데이터 오염으로 인한 성능 손실을 효과적으로 복구할 수 있는가?
• RQ3 왜 KNN 기반 방법은 맨하탄노스 기반 방법보다 데이터 오염에 더 강건한가?
• RQ4 SROC은 CutPaste를 대상으로 설계된 더 복잡한 정제 전략인 STOC을 능가하는가?
• RQ5 특정 방법에 맞게 튜닝이 필요 없이 다양한 이상 탐지 방법에 대해 이 정제 전략을 일반화할 수 있는가?

주요 결과

• SROC은 MVTec AD 데이터셋에서 훈련 데이터에 최대 20%의 결함 샘플이 포함되어 있을 경우, 최대 달성 가능한 AUC의 약 80%까지 성능을 복원한다.
• KNN과 PatchCore는 맨하탄노스와 PaDiM보다 훨씬 더 강건한 편이며, 이는 특징 공간에서 결함이 있는 임베딩의 희박성 때문이다.
• 임베딩 공간에서 결함 샘플은 평균적으로 건강한 샘플과 같은 거리만큼 서로 떨어져 있으며, 이는 최근접 이웃 방법의 강건성에 기여한다.
• SROC은 CutPaste를 대상으로 설계된 복잡한 STOC 전략을 능가하며, 정제 작업에서 단순성이 복잡성에 뒤지지 않음을 보여준다.
• 맨하탄노스 기반 방법은 오염 상황에서 성능 저하가 심각하게 발생하며, 이는 결함 샘플이 학습된 다변량 정규분포의 중심에 더 가까워지기 때문이다.
• 정성적 분석 결과, 오염 상황에서 맨하탄노스 분포가 크게 이동하는 반면, KNN 기반 방법은 안정적인 이웃 구조를 유지함을 확인했다.