[논문 리뷰] U-Net for MAV-based Penstock Inspection: an Investigation of Focal Loss in Multi-class Segmentation for Corrosion Identification

Ty Nguyen, Tolga Özaslan외 8명|arXiv (Cornell University)|2018. 09. 18.

Infrastructure Maintenance and Monitoring참고 문헌 20인용 수 7

한 줄 요약

이 논문은 Center Hill 댐에서 MAV가 촬영한 영상 자료를 바탕으로 40张 미만의 수동으로 레이블링된 이미지로 훈련된 경량 U-Net 모델을 제안하여, 실시간으로 자동 부식 검출을 가능하게 한다. 이 방법은 최적화된 클래스 가중치를 적용한 포칼 손실을 활용하여, 저조도 및 노이즈가 있는 조건에서도 표준 교차 엔트로피 손실보다 우수한 성능을 보이며, 12 fps의 추론 속도를 달성한다. (단일 GPU에서).

ABSTRACT

Periodical inspection and maintenance of critical infrastructure such as dams, penstocks, and locks are of significant importance to prevent catastrophic failures. Conventional manual inspection methods require inspectors to climb along a penstock to spot corrosion, rust and crack formation which is unsafe, labor-intensive, and requires intensive training. This work presents an alternative approach using a Micro Aerial Vehicle (MAV) that autonomously flies to collect imagery which is then fed into a pretrained deep-learning model to identify corrosion. Our simplified U-Net trained with less than 40 image samples can do inference at 12 fps on a single GPU. We analyze different loss functions to solve the class imbalance problem, followed by a discussion on choosing proper metrics and weights for object classes. Results obtained with the dataset collected from Center Hill Dam, TN show that focal loss function, combined with a proper set of class weights yield better segmentation results than the base loss, Softmax cross entropy. Our method can be used in combination with planning algorithm to offer a complete, safe and cost-efficient solution to autonomous infrastructure inspection.

연구 동기 및 목표

• 펜스톡 인프라의 자동 부식 검출을 위한 데이터 효율적인 딥러닝 방법 개발.
• 손실 함수를 활용하여 펜스톡 표면 결함의 다중 클래스 세분화에서의 클래스 불균형 문제 해결.
• 저조도 및 노이즈가 있는 조건에서 포칼 손실과 클래스 가중치의 조합이 세분화 정확도 향상에 얼마나 기여하는지 평가.
• 현장 적용을 위한 고해상도 이미지에서 실시간 추론(12 fps)을 가능하게 하기.
• 위험한 환경에서 수동 점검의 대체로 사용 가능한 확장성 있고 안전하며 비용 효율적인 방법 제공.

제안 방법

• Center Hill 댐에서 MAV가 촬영한 영상 자료에서 수 fewer than 40장의 수동으로 레이블링된 이미지를 사용하여 U-Net 아키텍처를 훈련.
• 모델은 총 다섯 가지 클래스로 픽셀 단위 분류를 수행: 코팅, 물, 리벳, 습기, 부식된 표면.
• 이중 분류에서 다중 클래스 세분화로 포칼 손실을 일반화하여 클래스 불균형 문제 완화.
• 희귀 클래스인 부식에 대한 성능 향상을 위해 포칼 손실 함수에 클래스 가중치 적용.
• 하이퍼파라미터 γ = 2.0을 사용하여 교차 엔트로피 손실과 포칼 손실을 병합하여 네트워크 훈련.
• 원본 1024×1280 해상도 이미지를 사용하여 단일 GPU에서 12 fps 속도로 추론 수행.

실험 결과

연구 질문

• RQ1 최소한의 레이블링된 훈련 데이터로도 경량 U-Net 모델이 펜스톡 표면 결함의 정확한 다중 클래스 세분화를 달성할 수 있는가?
• RQ2 저조도 및 노이즈가 있는 환경에서 부식 검출 시 포칼 손실이 표준 교차 엔트로피 손실보다 어떻게 성능을 높이는가?
• RQ3 포칼 손실을 사용한 펜스톡 결함의 다중 클래스 세분화에서 최적의 클래스 가중치 설정은 무엇인가?
• RQ4 다양한 평가 지표(예: DSC, 민감도, 특이도)는 불균형 데이터셋에서 세분화 모델의 성능을 어떻게 반영하는가?
• RQ5 제안된 방법은 자율 MAV 기반 점검에 적합한 실시간 현장 내 추론을 가능하게 하는가?

주요 결과

• γ = 2.0인 가중치가 적용된 포칼 손실이 표준 교차 엔트로피 손실 및 단독 포칼 손실보다도 전체 성능에서 가장 우수한 결과를 보였다.
• 부식 클래스에 대해 클래스 가중치 w_c = 4로 설정했을 때 총 오차가 1.9%로 최소화되어 민감도와 특이도 사이의 최적의 트레이드오���이 이루어졌다.
• w_c = 1일 때 가중치가 적용된 포칼 손실을 사용했을 경우 DSC(Dice Similarity Coefficient)가 52.1%로 가장 높아, 세분화 겹침 정도가 향상됨을 확인.
• w_c = 8일 때 민감도는 83.4%까지 상승했지만 특이도는 95.2%로 하락하여 진짜 양성과 가짜 양성의 트레이드오프를 확인.
• 가중치가 적용된 포칼 손실 모델은 다른 손실 함수에 비해 부식, 습기 영역, 리벳 등에서 더 깔끔하고 완전한 세분화 결과를 보였다.
• 모델은 단일 GPU에서 12 fps의 실시간 추론 성능을 달성하여 고해상도 MAV 영상의 현장 처리가 가능했다.