[논문 리뷰] Aircraft Fuselage Defect Detection using Deep Neural Networks

Touba Malekzadeh, Milad Abdollahzadeh외 2명|arXiv (Cornell University)|2017. 12. 26.

Industrial Vision Systems and Defect Detection인용 수 35

한 줄 요약

이 논문은 컨볼루션 신경망(CNN)과 SURF 키포인트 검출을 사용하여 항공기 기수 결함을 자동으로 감지하기 위한 딥 러닝 기반 접근법을 제안한다. VGG-F를 특징 추출기로 사용하고 선형 SVM 분류기를 적용하여 2000만 픽셀 해상도의 이미지에서 결함을 약 15초 내에 96% 이상의 정확도로 감지하며, 이는 이 작업을 위한 첫 번째 DNN 기반 시스템이다.

ABSTRACT

To ensure flight safety of aircraft structures, it is necessary to have regular maintenance using visual and nondestructive inspection (NDI) methods. In this paper, we propose an automatic image-based aircraft defect detection using Deep Neural Networks (DNNs). To the best of our knowledge, this is the first work for aircraft defect detection using DNNs. We perform a comprehensive evaluation of state-of-the-art feature descriptors and show that the best performance is achieved by vgg-f DNN as feature extractor with a linear SVM classifier. To reduce the processing time, we propose to apply SURF key point detector to identify defect patch candidates. Our experiment results suggest that we can achieve over 96% accuracy at around 15s processing time for a high-resolution (20-megapixel) image on a laptop.

연구 동기 및 목표

• 항공기 기수의 결함을 자동으로 감지하기 위한 효율적이고 안전한 유지보수를 향상시키기 위해 딥 러닝 기반 시스템을 개발한다.
• 고해상도 항공기 이미지에서의 결함 감지를 위한 최신 딥 네트워크 아키텍처를 특징 추출기로 평가한다.
• SURF 키포인트 검출을 통해 후보 영역을 효율적으로 탐지하여 고해상도 이미지(20MP)의 처리 시간을 단축시킨다.
• 실제 현장 시각 검사 데이터를 사용하여 딥 러닝 기반 항공기 구조 점검의 기준을 설정한다.

제안 방법

• 저자들은 항공기 기수 이미지에서 고수준 표현을 추출하기 위해 사전 훈련된 VGG-F 딥 네트워크를 특징 추출기로 사용한다.
• VGG-F가 추출한 특징을 기반으로 선형 서포트 벡터 머신(SVM) 분류기를 훈련시켜 결함이 있는 영역와 없는 영역를 구분한다.
• SURF 키포인트 검출을 적용하여 잠재적인 결함 후보 영역 패치를 식별함으로써 전체 이미지에 대한 계산 부담을 줄인다.
• 시스템은 SURF로 탐지된 영역에 집중하여 고해상도(2000만 픽셀) 이미지를 처리함으로써 정확도를 유지하면서도 처리 속도를 향상시킨다.
• 최적의 특징 추출기와 분류기 조합을 식별하기 위해 여러 최신 특징 기술자에 대해 종합적인 평가를 수행한다.
• 표준 랩탑 하드웨어에서 실시간 성능을 확보하기 위해 파이프라인을 최적화하여 유지보수 워크플로우에 실용적으로 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 항공기 기수 결함 감지에 있어 가장 우수한 성능을 보이는 딥 네트워크 아키텍처는 무엇인가?
• RQ2 SURF 기반 키포인트 검출이 정확도를 저하시키지 않으면서 처리 시간을 효과적으로 줄일 수 있는가?
• RQ3 고해상도 항공기 기수 이미지에서 DNN 기반 시스템의 달성 가능한 정확도와 추론 시간은 얼마인가?
• RQ4 제안된 DNN 기반 방법은 전통적인 특징 기술자에 비해 결함 감지 성능에서 어떻게 비교되는가?

주요 결과

• VGG-F 네트워크와 선형 SVM 분류기를 조합한 조합이 평가된 특징 추출기 중에서 가장 높은 감지 성능를 기록했다.
• 시스템은 2000만 픽셀 해상도의 항공기 기수 이미지에서 결함 감지 정확도가 96% 이상을 달성했다.
• 표준 랩톱에서 이미지당 처리 시간이 약 15초로 단축되어 실생활 적용에 실용적이게 되었다.
• SURF 키포인트 검출을 사용함으로써 후보 영역 수가 크게 감소하여 처리 속도가 향상되었고, 동시에 높은 정확도를 유지했다.
• 이 작업은 실제 현장 시각 검사 데이터를 사용하여 항공기 기수 결함 감지에 대한 엔드 투 엔드 딥 러닝 기반 시스템을 처음으로 구축했다.