[논문 리뷰] Bridge Damage Detection using a Single-Stage Detector and Field Inspection Images

Chaobo Zhang, C. C. Chang외 1명|arXiv (Cornell University)|2018. 12. 19.

Infrastructure Maintenance and MonitoringEngineering참고 문헌 51인용 수 18

한 줄 요약

이 논문은 현장 점검 이미지를 사용하여 자동으로 다리 손상 검출을 위한 개선된 단일 단계 YOLOv3 검출기를 제안한다. 배치 재정규화와 포칼 손실을 통합함으로써, 이 방법은 평균 정밀도 80%를 달성하였으며, 원래 YOLOv3보다 13% 높은 성능을 보였다. 이는 균열, 터짐, 벗겨짐, 노출된 reinforcing 철근의 4종류의 콘크리트 손상 유형을 더 빠르고 정확하게 검출할 수 있게 한다.

ABSTRACT

Detecting concrete surface damages is a vital task for maintaining the structural health and reliability of highway bridges. Currently, most of these tasks are conducted manually which could be cumbersome and time-consuming. Recent rapid advancement in convolution neural network has enabled the development of deep learning-based visual inspection techniques for detecting multiple structural damages. However, most deep learning-based techniques are built on two-stage, proposal-driven detectors and using less complex image data, which is not promising to promote practical applications and integration within intelligent autonomous inspection systems. In this study, a faster, simpler single-stage detector is proposed based on YOLOv3 for detecting multiple concrete damages of highway bridges. To realize this, a bridge damage dataset consisting of field inspection images is prepared. These images have large variations in damage appearance and monitoring scene and are labeled with four types of concrete damages: crack, pop-out, spalling and exposed rebar. The original YOLOv3 is further improved by introducing a novel transfer learning method, Batch Renormalization and Focal Loss. The improved YOLOv3 is evaluated in terms of average precision and speed. The results show that the improved YOLOv3 has a detection accuracy of up to 80%. Its performance is about 13% better than the original YOLOv3.

연구 동기 및 목표

• 시간이 오래 걸리고 실수를 범하기 쉬운 수동 다리 점검의 한계를 해결하기 위해.
• 실시간 구조 건강 모니터링 응용 분야에서 이중 단계 검출기의 비효율성을 극복하기 위해.
• 자율 점검 시스템에 통합 가능한 더 빠르고 단일 단계의 딥러닝 검출기 개발을 위해.
• 학습 및 평가를 위한 실제 세계의 다양한 다리 손상 이미지 데이터셋을 구축하기 위해.
• 새로운 학습 기법을 통해 복잡하고 다양한 다리 손상 이미지에서 YOLOv3의 성능을 향상시키기 위해.

제안 방법

• 빛의 강도, 크기, 손상 외관의 변동성이 큰 실제 현장 점검 이미지에서 다리 손상 데이터셋을 구축하였다.
• 균열, 터짐, 벗겨짐, 노출된 재진입 철근의 4종류의 손상 유형으로 이미지를 레이블링 하였다.
• 분포 이탈 상황에서도 학습 안정성과 일반화 능력을 향상시키기 위해 YOLOv3에 배치 재정규화를 통합하였다.
• 희귀하거나 작은 손상 사례에 대한 클래스 불균형 문제를 해결하기 위해 포칼 손실을 적용하였다.
• 수렴 속도 향상과 검출 성능 향상을 위해 ImageNet 사전학습을 활용한 전이 학습을 사용하였다.
• 평균 정밀도와 추론 속도를 지표로 하여 커스터마이징된 데이터셋에서 모델을 학습하고 평가하였다.

실험 결과

연구 질문

• RQ1 실제 현장 이미지에서 다수의 콘크리트 다리 손상 유형을 검출하는 데 단일 단계 검출기인 YOLOv3가 높은 정확도를 달성할 수 있는가?
• RQ2 배치 재정규화와 포칼 손실의 통합이 복잡하고 다양한 다리 점검 데이터에서 YOLOv3의 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 원래 YOLOv3에 비해 검출 정확도와 추론 속도 측면에서 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 개선된 검출기는 실용적이고 실시간 다리 점검 시스템에 효과적으로 통합될 수 있는가?
• RQ5 실제 현장 조건에서 손상 외관과 이미지 품질의 변동성에 대해 모델의 견고성은 어느 정도인가?

주요 결과

• 개선된 YOLOv3는 다리 손상 검출 작업에서 평균 정밀도 80%를 달성하였다.
• 모델의 성능은 원래 YOLOv3보다 13% 높아, 뚜렷한 정확도 향상을 입증하였다.
• 포칼 손실의 사용은 희귀하거나 작은 손상 사례의 검출을 효과적으로 향상시켰다.
• 배치 재정규화는 학습 안정성 향상과 다양한 이미지 조건에서의 모델 일반화 능력을 강화하였다.
• 단일 단계 아키텍처는 더 빠른 추론을 가능하게 하여 자율 점검 시스템에서 실시간 배포에 적합하였다.
• 4종류의 손상 유형을 포함한 현장 점검 이미지 데이터셋은 향후 다리 건강 모니터링 분야의 연구를 위한 유의미한 기준 자료가 되었다.