[논문 리뷰] A Survey of Surface Defect Detection of Industrial Products Based on A Small Number of Labeled Data

Qifan Jin, Li Chen|arXiv (Cornell University)|2022. 03. 11.

Industrial Vision Systems and Defect Detection인용 수 14

한 줄 요약

이 종합 검토는 제한된 레이블이 있는 데이터를 사용하여 산업 제품의 표면 결함 검출 방법을 검토하며, 기존 영상 처리 기법(통계적, 스펙트럼적, 모델 기반)과 딥러닝 기법(데이터 증강, 전이 학습, 미세조정, 준-약한 감독, 비감독 학습)으로 분류한다. 이는 저데이터 환경에 특화된 최신 기법들을 종합적으로 분석하여 산업 품질 관리에 실용적으로 적용하는 데 대한 통찰을 제공한다.

ABSTRACT

The surface defect detection method based on visual perception has been widely used in industrial quality inspection. Because defect data are not easy to obtain and the annotation of a large number of defect data will waste a lot of manpower and material resources. Therefore, this paper reviews the methods of surface defect detection of industrial products based on a small number of labeled data, and this method is divided into traditional image processing-based industrial product surface defect detection methods and deep learning-based industrial product surface defect detection methods suitable for a small number of labeled data. The traditional image processing-based industrial product surface defect detection methods are divided into statistical methods, spectral methods and model methods. Deep learning-based industrial product surface defect detection methods suitable for a small number of labeled data are divided into based on data augmentation, based on transfer learning, model-based fine-tuning, semi-supervised, weak supervised and unsupervised.

연구 동기 및 목표

• 저데이터 레이블링 제약 조건 하에서 산업 제품의 표면 결함 검출 방법을 분석하고 분류하는 것.
• 통계적, 스펙트럼적, 모델 기반 방법을 포함한 전통적 영상 처리 기법이 결함 검출에 어떻게 적용되는지 검토하는 것.
• 최소한의 레이블 데이터로도 효과적으로 작동하는 딥러닝 기반 접근법을 탐색하는 것. 이는 데이터 증강, 전이 학습, 약한 감독 학습을 포함한다.
• 실제 산업 검사 환경에서 다양한 방법의 성능 및 적용 가능성 비교하는 것.
• 소수 데이터 기반 표면 결함 검출 분야의 현재 연구 트렌드와 과제에 대한 체계적인 개요 제공

제안 방법

• 영상 처리 기법을 활용해 전통적 결함 검출 기법을 통계적, 스펙트럼적, 모델 기반 방법으로 분류하는 것.
• 소수의 레이블 예제가 필요한 딥러닝 기법을 조사하며, 훈련 데이터를 확장하기 위한 데이터 증강 전략 포함.
• 대규모 데이터셋에서 사전 학습된 모델을 활용해 산업 결함 검출에 적용하는 전이 학습 접근법을 검토하는 것.
• 제한된 애너테이션으로도 사전 학습된 네트워크를 결함 검출에 적응시키는 모델 기반 미세조정 기법을 분석하는 것.
• 완전히 애너테이션된 데이터에 의존도를 줄이기 위해 준감독, 약한 감독, 비감독 딥러닝 기법을 검토하는 것.
• 데이터 효율성, 성능, 산업 적용 가능성 기준으로 기법들을 체계적으로 정리하는 것.

실험 결과

연구 질문

• RQ1 산업 환경에서 소수의 레이블 데이터로도 적합한 표면 결함 검출 방법의 주요 범주들은 무엇인가요?
• RQ2 데이터 부족 조건에서 전통적 영상 처리 기법과 딥러닝 기반 기법의 성능 및 내성에 대해 어떻게 비교할 수 있나요?
• RQ3 제한된 애너테이션으로 결함 검출 성능을 향상시키기 위해 가장 효과적인 데이터 증강 및 전이 학습 전략은 무엇인가요?
• RQ4 준감독 및 약한 감독 학습 기법은 산업 품질 검사에서 애너테이션 부담을 어떻게 줄일 수 있나요?
• RQ5 소수 데이터 기반 딥러닝 모델을 산업 표면 결함 검출에 구현할 때의 주요 과제와 열린 문제들은 무엇인가요?

주요 결과

• 레이블 데이터가 부족한 상황에서 통계적 및 스펙트럼적 기법을 포함한 전통적 영상 처리 기법이 특정 결함 유형에 대해 여전히 효과적이다.
• 데이터 증강 기법은 다양한 훈련 샘플을 합성함으로써 저데이터 환경에서 딥러닝 모델의 일반화 능력을 크게 향상시킨다.
• 전이 학습은 소수의 산업 데이터셋에 사전 학습된 모델을 미세조정함으로써 높은 성능의 결함 검출을 가능하게 한다.
• 준감독 및 약한 감독 기법은 완전히 감독된 모델과 비교해도 경쟁력 있는 검출 정확도를 유지하면서 애너테이션 비용을 줄인다.
• 비감독 및 자기지도 학습 기법은 결함 애너테이션이 전혀 없이도 산업 표면의 이방성 검출에 강력한 잠재력을 보인다.
• 딥러닝 모델에 도메인 전문 지식을 통합하면 실제 산업 환경에서 성능과 내성 모두 향상된다.