[논문 리뷰] Surface Defect Detection and Evaluation for Marine Vessels using Multi-Stage Deep Learning

Yu Li, Kareem Metwaly외 2명|arXiv (Cornell University)|2022. 03. 17.

Structural Integrity and Reliability Analysis인용 수 4

한 줄 요약

이 논문은 정규 사진을 사용하여 해양 선박의 표면 결함 검출 및 커버리지 추정을 위한 다단계 딥러닝 프레임워크를 제안한다. 시스템은 선박 구역을 세분화하고, 부식, 이면 분리, 오염 등 결함을 탐지하며, 교사-학생 훈련과 공간 변환 네트워크를 활용한 다중 레이블 분류 네트워크를 통해 분류한다. 새로 구성된 대규모 데이터셋에서 인간 검사자 수준의 성능을 달성한다.

ABSTRACT

Detecting and evaluating surface coating defects is important for marine vessel maintenance. Currently, the assessment is carried out manually by qualified inspectors using international standards and their own experience. Automating the processes is highly challenging because of the high level of variation in vessel type, paint surface, coatings, lighting condition, weather condition, paint colors, areas of the vessel, and time in service. We present a novel deep learning-based pipeline to detect and evaluate the percentage of corrosion, fouling, and delamination on the vessel surface from normal photographs. We propose a multi-stage image processing framework, including ship section segmentation, defect segmentation, and defect classification, to automatically recognize different types of defects and measure the coverage percentage on the ship surface. Experimental results demonstrate that our proposed pipeline can objectively perform a similar assessment as a qualified inspector.

연구 동기 및 목표

• 해양 선박의 표면 코팅 결함을 검출하고 정량화하기 위한 자동화되고 일관되며 객관적인 시스템을 개발하기 위해.
• 전통적인 컴퓨터 비전 방법에 도전하는 높은 변동성을 보이는 선박 유형, 코팅, 조명 및 환경 조건을 다루기 위해.
• 결함 검출 연구를 위한 종합적이고 실제적인 해양 선박 이미지의 애너테이션 데이터셋을 구축하기 위해.
• 인간 검사자의 정확도에 도달하는 동시에 효율성과 일관성을 향상시키는 딥러닝 파이프라인을 설계하기 위해.
• 다양한 선박 구역(TS, BT, VS)에서 결함 커버리지 백분율을 정밀하게 추정할 수 있도록 하기 위해.

제안 방법

• 프레임워크는 다단계 파이프라인을 사용한다: 선박 구역 세분화, 결함 세분화, 다중 레이블 결함 분류.
• 결함 세분화는 굵은 및 불완전한 애너테이션에서 성능을 향상시키기 위해 교사-학생 훈련 방식을 활용한다.
• 두 개의 검출 헤드와 공간 변환 네트워크(STNs)를 갖춘 다중 레이블 분류 네트워크를 사용하여 겹치는 결함을 탐지하고 입력 패치를 보다 효과적인 특징 추출을 위해 정렬한다.
• 시스템은 2차원 결함 마스크를 선박 구역별로 1차원 경계로 변환하여 데이터 요구량을 줄이고 커버리지 추정의 일관성을 향상시킨다.
• 후처리 단계에서 도메인 지식(예: 오염은 일반적으로 하부 선체에 발생함)을 활용하여 예측을 정밀하게 보완한다.
• 시스템을 훈련하고 평가하기 위해 수백 장의 수동 애너테이션된 해양 선박 이미지로 구성된 새로운 데이터셋을 구축했다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템이 매우 다양한 이미징 및 환경 조건 하에서도 해양 선박의 표면 결함을 인간 수준의 정확도로 검출하고 정량화할 수 있는가?
• RQ2 다단계 딥러닝 프레임워크는 하나의 이미지에서 부식, 이면 분리, 오염과 같은 겹치는 결함을 효과적으로 처리할 수 있는가?
• RQ3 해양 선박 이미지의 결함 검출에서 다중 레이블 분류 접근법과 다중 클래스 접근법의 영향은 무엇인가?
• RQ4 완전하거나 세밀한 레이블이 없는 경우, 교사-학생 훈련이 어떻게 세분화 성능을 향상시킬 수 있는가?
• RQ5 입력 패치를 특징 추출 이전에 정렬함으로써 공간 변환 네트워크(STN)가 결함 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 다중 레이블 분류 접근법은 균형 정확도 0.76과 F1 점수 0.72를 기록하여 다중 클래스 접근법(균형 정확도: 0.54, F1 점수: 0.63)보다 유의미하게 뛰어난 성능을 보였다.
• 다중 레이블 분류와 STNs를 통합한 DFE-NET 모델은 결함 탐지 F1 점수 0.82를 달성하여 이면 분리와 같은 도전적인 결함에서 뛰어난 성능을 보였다.
• 교사-학생 훈련 방식은 사전 훈련된 교사 모델에서 생성된 가짜 레이블을 활용하여 결함 세분화 성능을 향상시켰다.
• 시스템은 선박 구역(TS, BT, VS) 간에 일관되고 객관적인 결함 커버리지 추정을 달성했으며, 자격을 갖춘 인간 검사자와 유사한 결과를 보였다.
• 각 구역별로 2차원 마스크를 1차원 경계로 변환함으로써 대량의 훈련 데이터가 필요로 하는 것을 줄였고, 이는 훈련 효율성과 일관성을 향상시켰다.
• 후처리 단계에서 오염 위치와 같은 도메인 지식을 통합함으로써 최종 예측 정확도가 향상되었으며, 향후 작업에서 손실 함수에 통합할 잠재력이 있음을 시사한다.