[논문 리뷰] Clear Memory-Augmented Auto-Encoder for Surface Defect Detection

Wei Luo, Tongzhi Niu외 3명|arXiv (Cornell University)|2022. 08. 08.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 산업 이면 검출에서 클래스 불균형과 재구성 과제를 해결하기 위해 표면 결함 검출을 위한 클리어 메모리 보강 오토인코더(CMA-AE)를 제안한다. 전경 복구와 배경 명료화를 위한 클리어 메모리 보강 모듈(CMAM), 현실적인 결함 시뮬레이션을 위한 일반 인공 이상 생성 알고리즘(GAAGA), 정밀 분할을 위한 다중 척도 특징 잔차 검출 방법(MSFR)을 통합함으로써 CMA-AE는 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In surface defect detection, due to the extreme imbalance in the number of positive and negative samples, positive-samples-based anomaly detection methods have received more and more attention. Specifically, reconstruction-based methods are the most popular. However, existing methods are either difficult to repair abnormal foregrounds or reconstruct clear backgrounds. Therefore, we propose a clear memory-augmented auto-encoder (CMA-AE). At first, we propose a novel clear memory-augmented module (CMAM), which combines the encoding and memoryencoding in a way of forgetting and inputting, thereby repairing abnormal foregrounds and preserving clear backgrounds. Secondly, a general artificial anomaly generation algorithm (GAAGA) is proposed to simulate anomalies that are as realistic and feature-rich as possible. At last, we propose a novel multi scale feature residual detection method (MSFR) for defect segmentation, which makes the defect location more accurate. Extensive comparison experiments demonstrate that CMA-AE achieves state-of-the-art detection accuracy and shows great potential in industrial applications.

연구 동기 및 목표

• 정상 샘플이 결함보다 훨씬 많아지는 표면 결함 검출에서 극심한 클래스 불균형을 해결한다.
• 기존 오토인코더 방법이 명료한 배경을 재구성하거나 비정상 전경을 복구하지 못하는 한계를 극복한다.
• 재구성 과정에서 깨끗한 영역을 유지하면서 결함 영역을 수정하는 메모리 보강 아키텍처를 개발한다.
• 모델의 일반화 능력과 강건성을 향상시키기 위해 특징이 풍부한 현실적인 인공 이상을 생성한다.
• 다중 척도 특징 잔차 검출 메커니즘을 통해 결함 국소화 정확도를 향상시킨다.

제안 방법

• 기억망과 입력 기반의 망각-입력 메커니즘을 통해 인코딩과 메모리 인코딩을 통합한 클리어 메모리 보강 모듈(CMAM)을 도입하여 결함 영역을 재구성하면서도 깨끗한 배경을 유지한다.
• 잠재 공간 내 특징을 조작하여 실제 세계의 결함 패tern을 모방하는 일반 인공 이상 생성 알고리즘(GAAGA)을 제안한다.
• 다양한 척도의 특징을 집계하여 결함 국소화의 공간 정밀도를 향상시키는 다중 척도 특징 잔차(MSFR) 검출 헤드를 설계한다.
• 실제 및 인위적으로 생성된 이상 데이터에 대한 재구성 손실을 사용하여 오토인코더를 종단 간(end-to-end)으로 훈련시켜 일반화 능력을 향상시킨다.
• 대표적인 특징를 저장하고 검색하기 위해 메모리 백을 활용하여 모델이 정상 및 이면 패tern을 더 효과적으로 구분할 수 있도록 한다.
• 이중 경로 학습 전략을 적용하여 모델이 깨끗한 영역을 재구성하는 동안 메모리 유도 주의를 통해 손상된 영역을 능동적으로 복구하도록 한다.

실험 결과

연구 질문

• RQ1 메모리 보강 오토인코더 아키텍처는 표면 결함 영상에서 명료한 배경을 재구성하면서도 비정상 전경을 복구하는 데 효과적인가?
• RQ2 일반 인공 이상 생성 방법은 훈련 데이터 내 합성 결함의 다양성과 현실성에 어느 정도 기여하는가?
• RQ3 제안된 다중 척도 특징 잔차 검출 메커니즘은 결함 분할의 정확도와 국소화 정밀도를 향상시키는가?
• RQ4 기준 데이터셋에서 CMA-AE는 최신 기술 수준의 방법들과 비교해 이상 검출 성능 면에서 어떻게 성과를 내는가?
• RQ5 메모리 보강 학습과 합성 데이터 생성의 통합은 산업적 표면 결함 검출에서 강건한 일반화를 이끌 수 있는가?

주요 결과

• CMA-AE는 다양한 공개 표면 결함 검출 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 재구성 기반 방법들을 능가한다.
• 제안된 CMAM 모듈은 시각적 및 정량적 분석을 통해 배경 명료성 유지와 결함 영역 복구를 통해 재구성 품질을 크게 향상시켰다.
• GAAGA는 매우 현실적이고 다양한 합성 이상을 생성하여 모델의 일반화 능력과 강건성을 향상시켰다.
• MSFR 검출 헤드는 가짜 양성 결과를 줄이고 결함 분할 작업에서 경계 정밀도를 향상시켜 국소화 정확도를 향상시켰다.
• 광범위한 추상화 연구(ablation study)를 통해 각 구성 요소의 효과성이 확인되었으며, 전체 CMA-AE 모델은 다양한 데이터셋과 평가 지표에서 일관된 성능 향상을 보였다.
• 모델은 새로운 결함 유형과 산업 환경에서 강력한 일반화 능력을 보이며, 실제 적용 가능성에 큰 잠재력을 보였다.