[논문 리뷰] Surface Defect Classification in Real-Time Using Convolutional Neural Networks

Selim Arikan, Kiran Varanasi외 1명|arXiv (Cornell University)|2019. 04. 07.

Industrial Vision Systems and Defect Detection인용 수 12

한 줄 요약

이 논문은 산업용 표면 결함 분류를 위해 특별히 설계된 경량이며 실시간 동작이 가능한 합성곱 신경망(CNN) 모델을 제안한다. 자체 수집한 22,000张 이상의 이미지로 구성된 데이터셋에서 98.0%의 정확도를 달성했으며, 공개된 NEU 데이터셋에서는 99.5%의 Top-1 정확도를 기록했다. 이 방법은 클래스 불균형 문제를 해결하기 위해 새로운 신경망 기반 데이터 증강 기법과 실시간 추론 지연을 최소화하기 위해 최적화된 고유한 아키텍처를 조합하여, 기존의 수작업 특징 기반 방법보다 정확도와 속도 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Surface inspection systems are an important application domain for computer vision, as they are used for defect detection and classification in the manufacturing industry. Existing systems use hand-crafted features which require extensive domain knowledge to create. Even though Convolutional neural networks (CNNs) have proven successful in many large-scale challenges, industrial inspection systems have yet barely realized their potential due to two significant challenges: real-time processing speed requirements and specialized narrow domain-specific datasets which are sometimes limited in size. In this paper, we propose CNN models that are specifically designed to handle capacity and real-time speed requirements of surface inspection systems. To train and evaluate our network models, we created a surface image dataset containing more than 22000 labeled images with many types of surface materials and achieved 98.0% accuracy in binary defect classification. To solve the class imbalance problem in our datasets, we introduce neural data augmentation methods which are also applicable to similar domains that suffer from the same problem. Our results show that deep learning based methods are feasible to be used in surface inspection systems and outperform traditional methods in accuracy and inference time by considerable margins.

연구 동기 및 목표

• 실시간 산업용 표면 검사 시스템에 특화된 딥러닝 모델을 개발하여 엄격한 추론 속도 제약 조건을 충족시키는 것.
• 도메인 특화된 데이터 증강 기법을 통해 표면 결함 데이터셋의 클래스 불균형 문제를 해결하는 것.
• 학습 및 벤치마킹을 위한 대규모이고 다양한 종류의 표면 결함 이미지 데이터셋을 구축하고 전문가가 검증한 자료를 제공하는 것.
• 정확도와 추론 속도 면에서 기존의 수작업 특징 기반 분류기보다 뛰어난 성능을 내는 것.
• 단일 유연한 모델 아키텍처로 다양한 표면 재질과 결함 유형에 걸쳐 일반화할 수 있도록 하는 것.

제안 방법

• 실시간 추론 지연을 최소화하고 산업 환경에서 높은 정확도를 달성하기 위해, 저비용으로 설계된 세 가지 고유한 CNN 아키텍처(SurfNet, MultiVis, FastInf)를 처음부터 설계하였다.
• 클래스별 특성에 기반하여 현실적인 결함 및 비결함 이미지를 생성하는 새로운 신경망 기반 데이터 증강 전략을 구현하여 클래스 불균형 문제를 해결하였다.
• 스틸, 호일, 유리, 필름 등 다양한 재질에서 23개의 실제 제조 시스템에서 수집한 22,000장 이상의 레이블이 부여된 표면 이미지로 구성된 신규 데이터셋을 기반으로 모델을 훈련시켰다.
• 이전 모델의 성능을 유지하면서도 계산 비용을 최소화하기 위해 전이 학습과 스킵 연결, 효율적인 컨볼루션 블록 등의 아키텍처 혁신을 적용하였다.
• 10겹 교차검증과 Top-1 정확도, 이미지당 추론 시간 등의 표준 지표를 사용하여 비공개 데이터셋(SurfMix)과 공개된 NEU 데이터셋에서 모델 성능을 평가하였다.
• 일반화 능력과 수렴 속도를 극대화하기 위해 초기 학습률, 가중치 감쇠, 배치 크기 등의 하이퍼파라미터를 최적화하였다.

실험 결과

연구 질문

• RQ1 경량 CNN 모델은 실시간 추론 요구 조건을 충족하면서도 표면 결함 분류에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 신경망 기반 데이터 증강 기법은 불균형한 표면 결함 데이터셋에서 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 특정 재질에 맞게 재학습하지 않고도 단일의 일반화된 CNN 모델이 다양한 표면 재질에서 결함을 효과적으로 분류할 수 있는가?
• RQ4 기존의 수작업 특징 기반 분류기와 비교했을 때, 제안된 방법은 정확도와 추론 속도 면에서 어떤가?
• RQ5 자원이 제한되고 클래스가 불균형한 표면 검사 데이터셋에서 데이터 증강 기법이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 SurfNet 모델은 표준 SurfMix 데이터셋에서 99.7%의 정확도를 달성했으며, 공개된 NEU 데이터셋에서는 99.5%의 Top-1 정확도를 기록하여 실시간 표면 결함 분류 분야에서 새로운 최고 기록을 수립했다.
• 신경망 기반 데이터 증강 기법은 테스트 정확도를 최대 3.5% 향상시켰으며, 특히 학습 능력이 높은 SurfNet과 같은 모델에서 가장 큰 성과를 보였다.
• FastInf 모델은 이미지당 0.2ms의 초고속 추론 시간으로 94.4%의 정확도를 달성하여 놀라운 속도-효율성 균형을 확보하였다.
• 제안된 모델들은 수백 개의 수작업 특징을 포함한 기존의 C5.0 의사결정 트리보다 정확도와 추론 속도 면에서 모두 뛰어난 성능을 보였다.
• 제안된 SurfNet 모델의 추론 시간은 1.92ms/이미지로, DenseNet보다 약 20배 빠르면서도 99.0%의 테스트 정확도를 유지하였다.
• 결과는 딥러닝 기반 접근법이 산업용 표면 검사에서 실시간 제약 조건 하에서도 실현 가능할 뿐 아니라 기존 방법보다 뛰어나다는 것을 확인한다.