[논문 리뷰] TinyDefectNet: Highly Compact Deep Neural Network Architecture for High-Throughput Manufacturing Visual Quality Inspection

Mohammad Javad Shafiee, Mahmoud Famouri외 3명|arXiv (Cornell University)|2021. 11. 28.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

TinyDefectNet는 기계 기반 생성 합성 기법을 활용해 고성능 제조 분야의 시각적 품질 검사에 적합한 매우 컴팩트한 딥 컨volution 신경망 아키텍처로, 약 427K 파라미터와 약 97M FLOPs로 상태 최고 수준의 결함 탐지 정확도를 달성한다. Native TensorFlow 기반으로 ResNet-50 대비 9배 빠른 추론을 제공하며, AMD ZenDNN를 사용할 경우 9배의 속도 향상을 기록한다. 정확도는 98%를 유지하면서 설명 가능성 기반 검증을 통해 신뢰도를 확보한다.

ABSTRACT

A critical aspect in the manufacturing process is the visual quality inspection of manufactured components for defects and flaws. Human-only visual inspection can be very time-consuming and laborious, and is a significant bottleneck especially for high-throughput manufacturing scenarios. Given significant advances in the field of deep learning, automated visual quality inspection can lead to highly efficient and reliable detection of defects and flaws during the manufacturing process. However, deep learning-driven visual inspection methods often necessitate significant computational resources, thus limiting throughput and act as a bottleneck to widespread adoption for enabling smart factories. In this study, we investigated the utilization of a machine-driven design exploration approach to create TinyDefectNet, a highly compact deep convolutional network architecture tailored for high-throughput manufacturing visual quality inspection. TinyDefectNet comprises of just ~427K parameters and has a computational complexity of ~97M FLOPs, yet achieving a detection accuracy of a state-of-the-art architecture for the task of surface defect detection on the NEU defect benchmark dataset. As such, TinyDefectNet can achieve the same level of detection performance at 52$\ imes$ lower architectural complexity and 11x lower computational complexity. Furthermore, TinyDefectNet was deployed on an AMD EPYC 7R32, and achieved 7.6x faster throughput using the native Tensorflow environment and 9x faster throughput using AMD ZenDNN accelerator library. Finally, explainability-driven performance validation strategy was conducted to ensure correct decision-making behaviour was exhibited by TinyDefectNet to improve trust in its usage by operators and inspectors.

연구 동기 및 목표

• 엄격한 계산 및 지연 제약 조건을 가진 고성능 제조 환경에서 효율적인 딥 러닝 모델을 구현하는 데 도전한다.
• 실시간 산업적 구현에 부적합한 크기와 속도로 인해 실용성이 떨어지는 기성 모델인 ResNet-50 등의 한계를 극복한다.
• 표면 결함 탐지에 특화된 매우 컴팩트하고 정확하며 효율적인 딥 러닝 아키텍처를 개발한다.
• 설명 가능성 기반 성능 검증을 통해 모델의 신뢰성과 현장 운영자 신뢰를 확보한다.
• 산업용 컴퓨터 비전 응용 분야에서 기계 기반 설계 탐색, 특히 생성 합성 기법의 효과를 입증한다.

제안 방법

• 최적의 마이크로 및 마크로 아키텍처 구성 요소를 자동으로 탐색하기 위해 생성기-질문자 쌍을 활용한 기계 기반 설계 탐색 기법인 생성 합성 기법을 적용한다.
• 성능 및 효율성 메트릭을 기반으로 반복적으로 후보 아키텍처를 개선하는 제약 조건이 있는 최적화 문제로 아키텍처 설계를 정식화한다.
• 표면 결함 탐지 작업을 위해 NEU 표면 결함 벤치마크 데이터셋에서 최종 아키텍처를 훈련 및 평가한다.
• AMD EPYC 7R32 CPU에 TinyDefectNet을 배포하고, 모델 재컴파일 없이도 추론 속도 향상을 위해 ZenDNN 가속기 라이브러리를 활용한다.
• 이전 연구에서 제안된 정량적 설명 가능성 전략을 적용하여 의사결정 과정을 감사하고 예측이 관련된 결함 특징에 기반하는지 확인한다.
• 메모리 풀링 및 스레드 연계 설정 등의 최적화된 ZenDNN 환경 변수를 활용하여 추론 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 기계 기반 설계 탐색 전략은 기성 모델보다 훨씬 작고 빠르면서도 제조 분야 결함 검사에서 최고 수준의 정확도를 달성하는 딥 뉴럴 네트워크 아키텍처를 생성할 수 있는가?
• RQ2 실제 구현 환경에서 표준 아키텍처인 ResNet-50와 비교해 본다면, 제안된 TinyDefectNet 아키텍처는 추론 속도와 모델 복잡도 측면에서 어떤가?
• RQ3 모델 변환 없이도 ZenDNN 가속기 라이브러리가 AMD CPU에서 TinyDefectNet의 추론 처리량을 얼마나 향상시킬 수 있는가?
• RQ4 설명 가능성 기반 검증 전략은 TinyDefectNet의 의사결정이 실제로 결함 관련 시각적 특징에 기반하고 있음을 효과적으로 확인하는가?
• RQ5 생성 합성 기법은 산업용 시각 검사 작업에 특화된 컴팩트하고 고성능 모델을 신뢰성 있게 생성할 수 있는가?

주요 결과

• TinyDefectNet는 NEU 표면 결함 벤치마크에서 ResNet-50와 동일한 98%의 탐지 정확도를 달성하면서도 훨씬 더 컴팩트하다.
• 모델은 약 427K 파라미터와 약 97M FLOPs를 가지며, ResNet-50 대비 아키텍처 복잡도는 52배, 계산 복잡도는 11배 감소했다.
• AMD EPYC 7R32 CPU에서 Native TensorFlow 기반으로 TinyDefectNet은 ResNet-50 대비 7.6배 빠른 추론 속도를 기록했으며, 이미지당 추론 시간은 19ms에서 2.5ms로 감소했다.
• ZenDNN 가속기 라이브러리를 적용한 경우, Native TensorFlow 기반으로 ResNet-50 대비 9배 빠른 추론 속도를 확보했으며, 추론 시간은 약 2ms로 감소했다.
• 설명 가능성 기반 검증을 통해 TinyDefectNet이 관련된 결함 패턴에 초점을 맞춰 긁힘 결함을 정확히 식별하는 것으로 확인되어 모델의 신뢰성 향상에 기여했다.
• 최적의 ZenDNN 설정(예: mempool 기능 활성화, 스레드 연계 설정)을 통해 Native 추론 대비 1.2배의 속도 향상이 이루어져 런타임 최적화의 영향력을 입증했다.