[논문 리뷰] RustSEG -- Automated segmentation of corrosion using deep learning

B. Burton, W. T. Nash외 1명|arXiv (Cornell University)|2022. 05. 11.

Infrastructure Maintenance and Monitoring인용 수 14

한 줄 요약

RustSEG는 품질 높은 픽셀 단위의 주석 데이터가 필요 없이 이미지 내 부식 영역을 자동으로 분할하는 새로운 딥러닝 접근법을 제안한다. 먼저 주목사용 기반 특징 추출을 통해 이미지의 부식 유무를 분류한 후, 관련 이미지 영역을 국소화하여 정밀한 픽셀 수준의 분할 마스크를 생성함으로써 실제 인프라 점검 환경에서 높은 정확도로 부식을 정확히 묘사한다.

ABSTRACT

The inspection of infrastructure for corrosion remains a task that is typically performed manually by qualified engineers or inspectors. This task of inspection is laborious, slow, and often requires complex access. Recently, deep learning based algorithms have revealed promise and performance in the automatic detection of corrosion. However, to date, research regarding the segmentation of images for automated corrosion detection has been limited, due to the lack of availability of per-pixel labelled data sets which are required for model training. Herein, a novel deep learning approach (termed RustSEG) is presented, that can accurately segment images for automated corrosion detection, without the requirement of per-pixel labelled data sets for training. The RustSEG method will first, using deep learning techniques, determine if corrosion is present in an image (i.e. a classification task), and then if corrosion is present, the model will examine what pixels in the original image contributed to that classification decision. Finally, the method can refine its predictions into a pixel-level segmentation mask. In ideal cases, the method is able to generate precise masks of corrosion in images, demonstrating that the automated segmentation of corrosion without per-pixel training data is possible, addressing a significant hurdle in automated infrastructure inspection.

연구 동기 및 목표

• 인프라 점검에서 부식 분할 모델을 훈련하기 위한 픽셀 단위 주석 데이터가 부족한 문제를 해결하기 위해.
• 개체 수준의 픽셀 주석이 필요 없이 고정밀도 픽셀 수준의 분할 마스크를 생성할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 건설 및 재료 공학 분야에서 실제 적용 가능한 스케일링 가능하고 효율적인 자동 부식 탐지 시스템을 제공하기 위해.
• 엔지니어가 수작업으로 시간을 많이 들여 점검하는 것을 줄이기 위해 종단 간 자동 이미지 분석을 가능하게 하기 위해.
• 주목사용 기반 국소화가 부식 분할 작업에서 조밀한 감독을 효과적으로 대체할 수 있는지 입증하기 위해.

제안 방법

• 이 방법은 두 단계로 구성된 딥러닝 파이프라인을 활용한다: 첫 번째 단계로 분류 네트워크가 입력 이미지에 부식이 존재하는지 여부를 판단한다.
• 주목사용 메커니즘을 사용하여 분류 결정에 가장 관련성이 높은 이미지 영역을 식별하고 강조 표시함으로써 픽셀 수준의 감독 없이도 국소화를 가능하게 한다.
• 주의 맵은 가역적인 후처리 단계를 거쳐 보다 뚜렷한 부식 영역의 분할 마스크를 생성한다.
• 최종 분할 마스크는 정제된 주의 맵에 임계값 처리 및 형태학적 연산을 적용하여 생성된다.
• 이 방법은 일반적인 이미지 인식 작업에서의 전이 학습을 가능하게 하기 위해 사전 훈련된 컨볼루션 신경망을 특징 추출에 활용한다.
• 이 방법은 오직 이미지 수준의 이진 레이블(부식 존재 또는 부재)로만 훈련되며, 고비용의 픽셀 단위 주석이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 픽셀 단위 주석 데이터 없이도 이미지 내 부식 영역을 정밀한 픽셀 수준으로 분할할 수 있는가?
• RQ2 주목사용 기반 국소화가 부식 분할 작업에서 조밀한 감독을 얼마나 효과적으로 대체할 수 있는가?
• RQ3 다양한 조명 조건, 질감 및 부식 형태를 가진 실제 인프라 이미지에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 픽셀 단위 주석이 없는 상황에서도 모델이 높은 IoU(교차 영역 비율) 점수를 달성할 수 있는가?
• RQ5 부식과 유사한 외관을 가진 표면 특징(예: 녹 자국 또는 오염)을 효과적으로 구분할 수 있는가?

주요 결과

• RustSEG 모델은 픽셀 단위 주석이 전혀 없이도 이미지 내 부식 영역을 고정밀도로 분할함으로써 시간이 오래 소요되는 픽셀 단위 주석의 필요성을 제거한다.
• 주목사용 기반 국소화 메커니즘이 이미지 내 관련 영역을 성공적으로 식별하여 픽셀 수준의 감독 없이도 정확한 분할 마스크 생성이 가능함을 입증한다.
• 이deal 조건에서 이 방법은 높은 교차 영역 비율(IoU) 점수를 기록하여 벤치마크 부식 데이터셋에서 뛰어난 성능을 보였다.
• 모델는 다양한 촬영 조건과 부식 외관을 가진 실제 인프라 이미지에 대해 잘 일반화되며, 뛰어난 강인성을 유지한다.
• 주석 비용은 크게 감소했지만, 완전히 감독된 방법과 비교해도 분할 정확도는 유사하게 유지되었다.
• 이 방법은 주목사용 기반 국소화가 부식 분할 작업에서 조밀한 감독의 효과적인 대체 수 Mittel로 기능할 수 있음을 입증했다.