[논문 리뷰] A Deep Neural Networks Approach for Pixel-Level Runway Pavement Crack Segmentation Using Drone-Captured Images

Liming Jiang, Yuanchang Xie외 1명|arXiv (Cornell University)|2020. 01. 09.

Infrastructure Maintenance and Monitoring참고 문헌 15인용 수 16

한 줄 요약

이 논문은 드론 촬영 항공 영상을 사용하여 달리기 달린 표면 균열의 픽셀 수준 분할을 위한 U-Net 기반 딥러닝 접근법을 제안한다. 온라인으로 애너테이션된 데이터셋과 제한된 FMA에서 확보한 이미지를 융합함으로써, 도메인 특화 학습 데이터가 극히 적은 상황에서도 뛰어난 일반화 성능를 달성하며, 균열 탐지 정확도가 높게 유지됨을 입증한다. 이는 공항 및 고속도로 도로 표면 점검 응용 분야에서 큰 잠재력을 지닌다.

ABSTRACT

Pavement conditions are a critical aspect of asset management and directly affect safety. This study introduces a deep neural network method called U-Net for pavement crack segmentation based on drone-captured images to reduce the cost and time needed for airport runway inspection. The proposed approach can also be used for highway pavement conditions assessment during off-peak periods when there are few vehicles on the road. In this study, runway pavement images are collected using drone at various heights from the Fitchburg Municipal Airport (FMA) in Massachusetts to evaluate their quality and applicability for crack segmentation, from which an optimal height is determined. Drone images captured at the optimal height are then used to evaluate the crack segmentation performance of the U-Net model. Deep learning methods typically require a huge set of annotated training datasets for model development, which can be a major obstacle for their applications. An online annotated pavement image dataset is used together with the FMA data to train the U-Net model. The results show that U-Net performs well on the FMA testing data even with limited FMA training images, suggesting that it has good generalization ability and great potential to be used for both airport runways and highway pavements.

연구 동기 및 목표

• 드론 영상에 기반한 공항 달리기 달린 표면 균열을 자동으로, 비용 효율적으로 탐지하는 방법을 개발하는 것.
• 드론 비행 고도가 영상 품질과 균열 분할 성능에 미치는 영향을 평가하는 것.
• 공개 데이터와 제한된 현장 특화 애너테이션 이미지의 조합으로 훈련된 U-Net 모델의 일반화 능력을 평가하는 것.
• 공항 달리기 달린과 고속도로 모두에 적용 가능한 확장 가능한 픽셀 수준의 표면 균열 분할을 가능하게 하는 것.
• 수동 점검에 대한 의존도를 줄이기 위해 딥러닝 기반 솔루션을 도입하여 자동화된 도로 상태 평가를 실현하는 것.

제안 방법

• 드론 촬영 영상에서 표면 균열의 의미적 분할을 위해 U-Net 컨볼루션 신경망을 사용한다.
• Fitchburg Municipal Airport (FMA)에서 다양한 고도에서 드론 영상을 촬영하여 영상 품질과 분할 정확도를 최적화하는 비행 고도를 도출한다.
• 온라인으로 애너테이션된 도로 표면 영상 데이터셋과 소량의 FMA 전용 영상 데이터를 조합하여 U-Net 모델을 훈련시킨다.
• 다양한 공개 데이터를 제한된 현장 데이터와 통합함으로써 데이터 증강 및 전이 학습 기법을 암묵적으로 적용한다.
• 표준 분할 평가 지표인 Dice 계수와 IoU를 사용하여 보류된 테스트 세트(FMA 영상)에서 모델 성능을 평가한다.
• 이미지 선명도와 분할 성능를 고려하여 해상도와 커버리지의 균형을 고려한 최적의 비행 고도를 선정한다.

실험 결과

연구 질문

• RQ1 균열 분할 정확도를 극대화하기 위해 공항 달리기 달린 영상을 촬영할 최적의 드론 비행 고도는 무엇인가?
• RQ2 공개 데이터와 제한된 현장 특화 데이터의 조합으로 훈련된 U-Net 모델이 실제 공항 달리기 달린 영상에 대해 얼마나 잘 일반화되는가?
• RQ3 소량의 애너테이션된 현장 영상만으로도 딥러닝 기반의 픽셀 수준의 표면 균열 분할을 공항 달리기 달린에 효과적으로 적용할 수 있는가?
• RQ4 伝통적인 수동 방법에 비해 제안된 방법이 점검 시간과 비용을 얼마나 줄일 수 있는가?
• RQ5 훈련된 모델은 교통량이 적은 시간대에 고속도로와 같은 다른 인프라 유형으로 이식 가능한가?

주요 결과

• 모델은 FMA 테스트 데이터에서 소량의 FMA 영상만으로도 높은 분할 정확도를 달성하여 강력한 일반화 능력을 보여주었다.
• 이미지 해상도와 커버리지의 균형을 고려한 최적의 드론 비행 고도가 확인되었으며, 이는 분할 성능 향상에 크게 기여했다.
• 온라인 애너테이션 데이터셋과 제한된 현장 데이터의 통합을 통해, 대상 현장에 대한 광범위한 수동 애너테이션 없이도 효과적인 모델 훈련이 가능했다.
• 모델은 높은 Dice 및 IoU 점수를 기록하며 픽셀 수준의 균열 분할에서 뛰어난 성능을 보였다.
• 이 방법은 고속도로 도로 표면 점검에도 적용 가능하며, 특히 교통량이 적은 시간대에 유용하다.
• 이 연구는 딥러닝 모델이 공항 도로 표면 관리에서 점검 시간과 노동 비용을 크게 줄일 수 있음을 확인한다.