[논문 리뷰] MemSeg: A semi-supervised method for image surface defect detection using differences and commonalities

Minghui Yang, Peng Wu외 2명|arXiv (Cornell University)|2022. 05. 02.

Industrial Vision Systems and Defect Detection인용 수 8

한 줄 요약

MemSeg는 정규 및 시뮬레이션된 비정상 샘플 간의 차이점과 메모리 백에 저장된 공통성을 활용하여 산업용 표면 결함 검출을 위한 종단 간, 메모리 증강형 준지도 학습 딥 러닝 프레임워크를 제안한다. MVTec AD 데이터셋에서 이미지 수준에서 99.56% AUC, 픽셀 수준에서 98.84% AUC의 최신 기술 수준 성능을 달성하면서도 효율적인 종단 간 아키텍처 덕분에 실시간 추론이 가능하다.

ABSTRACT

Under the semi-supervised framework, we propose an end-to-end memory-based segmentation network (MemSeg) to detect surface defects on industrial products. Considering the small intra-class variance of products in the same production line, from the perspective of differences and commonalities, MemSeg introduces artificially simulated abnormal samples and memory samples to assist the learning of the network. In the training phase, MemSeg explicitly learns the potential differences between normal and simulated abnormal images to obtain a robust classification hyperplane. At the same time, inspired by the mechanism of human memory, MemSeg uses a memory pool to store the general patterns of normal samples. By comparing the similarities and differences between input samples and memory samples in the memory pool to give effective guesses about abnormal regions; In the inference phase, MemSeg directly determines the abnormal regions of the input image in an end-to-end manner. Through experimental validation, MemSeg achieves the state-of-the-art (SOTA) performance on MVTec AD datasets with AUC scores of 99.56% and 98.84% at the image-level and pixel-level, respectively. In addition, MemSeg also has a significant advantage in inference speed benefiting from the end-to-end and straightforward network structure, which better meets the real-time requirement in industrial scenarios.

연구 동기 및 목표

• 제한된 결함 레이블이 있는 산업용 표면 결함 검출 문제를 준지도 학습을 통해 해결하기 위해.
• 정상 및 시뮬레이션된 비정상 샘플 간의 차이점을 명시적으로 모델링하여 검출의 강건성을 향상시키기 위해.
• 메모리 백을 통한 정상 샘플의 일반 패턴 저장 및 비교를 통해 특징 표현을 향상시키기 위해.
• 산업용 구현에 적합한 경량 네트워크 아키텍처를 통해 종단 간, 효율적인 설계를 통해 실시간 추론을 가능하게 하기 위해.

제안 방법

• MemSeg는 학습 중에 인위적으로 시뮬레이션된 비정상 샘플을 도입하여 정상 및 결함 패턴 간의 구분 가능한 차이점을 명시적으로 학습한다.
• 정상 샘플의 특징 표현을 저장하는 메모리 백을 활용하여 인간의 패턴 인식을 위한 기억 기능을 모방한다.
• 추론 과정에서 입력 특징을 저장된 메모리 특징과 비교하여 유사도가 낮고 이질성이 높은 경우에 비정상으로 검출한다.
• 정상 및 비정상 특징 간의 분리를 장려하기 위해 대비 손실을 사용하여 네트워크를 종단 간으로 훈련시킨다.
• 안정적이고 대표적인 정상 패턴을 유지하기 위해 동적 모멘텀 기반 인코딩을 사용해 메모리 백을 지속적으로 업데이트한다.
• 효율적인 아키텍처 설계를 통해 실시간 산업 응용에 필수적인 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 작은 수의 레이블이 부여된 결함 샘플만을 사용하여 준지도 학습 프레임워크가 표면 결함을 효과적으로 검출할 수 있는가?
• RQ2 정상 및 시뮬레이션된 비정상 샘플 간의 차이점은 결함 검출에서 모델의 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 정상 패턴의 메모리 백은 비정상 지역의 국소화 및 검출 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 종단 간, 메모리 증강형 네트워크는 산업 환경에서 높은 정확도와 실시간 추론을 동시에 달성할 수 있는가?

주요 결과

• MemSeg는 MVTec AD 벤치마크에서 종단 간 이미지 수준 AUC 99.56%의 최신 기술 수준 성능을 달성한다.
• 픽셀 수준 AUC 98.84%를 확보하여 결함 영역의 정밀한 국소화 능력을 입증한다.
• 검출 정확도와 추론 속도 양면에서 기존 준지도 학습 방법들을 크게 앞서는 성능을 보인다.
• 종단 간 아키텍처 덕분에 실시간 추론이 가능하여 산업 현장 구현에 적합하다.
• 메모리 백의 사용은 일반 정상 패턴을 캡처하고 비교함으로써 검출의 강건성을 향상시킨다.
• 레이블이 제한된 결함 데이터 조건에서도 높은 성능를 유지하여 저자원 환경에서의 효과성을 입증한다.