[논문 리뷰] Detection of Pavement Cracks by Deep Learning Models of Transformer and UNet

Yu Zhang, Lin Zhang|arXiv (Cornell University)|2023. 04. 25.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 연구는 자동 도로 균열 검출을 위한 9종의 딥러닝 모델—비전 트랜스포머와 U-Net 아키텍처를 조합한 것—을 평가한다. SwinUNet이 가장 높은 정확도를 기록했으며, 이는 트랜스포머 기반 모델이 기존의 CNN보다 균열 세그멘테이션에서 뛰어난 성능을 보임을 보여주지만, 더 높은 계산 자원이 필요하다는 것을 시사한다.

ABSTRACT

Fracture is one of the main failure modes of engineering structures such as buildings and roads. Effective detection of surface cracks is significant for damage evaluation and structure maintenance. In recent years, the emergence and development of deep learning techniques have shown great potential to facilitate surface crack detection. Currently, most reported tasks were performed by a convolutional neural network (CNN), while the limitation of CNN may be improved by the transformer architecture introduced recently. In this study, we investigated nine promising models to evaluate their performance in pavement surface crack detection by model accuracy, computational complexity, and model stability. We created 711 images of 224 by 224 pixels with crack labels, selected an optimal loss function, compared the evaluation metrics of the validation dataset and test dataset, analyzed the data details, and checked the segmentation outcomes of each model. We find that transformer-based models generally are easier to converge during the training process and have higher accuracy, but usually exhibit more memory consumption and low processing efficiency. Among nine models, SwinUNet outperforms the other two transformers and shows the highest accuracy among nine models. The results should shed light on surface crack detection by various deep-learning models and provide a guideline for future applications in this field.

연구 동기 및 목표

• 도로 표면 균열을 탐지하는 데 있어 다양한 딥러닝 모델, 특히 비전 트랜스포머와 U-Net 변종의 성능을 평가하기 위해.
• 균열 세그멘테이션 작업을 위한 모델 정확도, 계산 복잡도, 학습 안정성을 평가하기 위해.
• 최적의 손실 함수를 식별하고 검증 및 테스트 데이터셋을 활용해 모델 일반화 능력을 평가하기 위해.
• 미래의 인프라 건강 모니터링 및 유지보수 응용 분야를 위한 비교 기준을 제공하기 위해.

제안 방법

• 피그먼트 표면에 대한 픽셀 수준의 균열 애너테이션을 포함한 711장의 고해상도(224×224) 이미지를 수집하고 정제함.
• 정제된 데이터셋을 기반으로 두 가지 비전 트랜스포머 기반 아키텍처와 일곱 가지 U-Net 변종을 포함한 9종의 딥러닝 모델을 학습함.
• 검증 데이터에서의 경험적 평가를 통해 최고 성능을 보인 손실 함수를 최적화하고 선택함.
• 검증 및 독립된 테스트 세트에서 표준 세그멘테이션 지표를 사용해 모델을 평가함.
• 모든 아키텍처에서 모델 수렴 행동, 추론 효율성, 메모리 소비를 분석함.
• 정성적 및 정량적 분석을 통해 세그멘테이션 출력의 강건성과 정밀도를 평가함.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 모델과 U-Net 아키텍처 간에 도로 균열 세그멘테이션 정확도 측면에서 어떤 차이가 있는가?
• RQ2 학습 안정성과 일반화 능력을 유지하면서도 가장 높은 정확도를 달성하는 딥러닝 모델 아키텍처는 무엇인가?
• RQ3 모델 아키텍처가 균열 검출 작업에서 계산 복잡도와 추론 효율성에 어떤 영향을 미치는가?
• RQ4 손실 함수의 선택이 모델 수렴성과 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ5 표준 CNN 기반 모델에 비해 트랜스포머 기반 모델이 일반화 능력과 강건성에 얼마나 향상되는가?

주요 결과

• SwinUNet은 평가된 9종의 모든 모델 중에서 가장 높은 세그멘테이션 정확도를 기록했으며, 표준 U-Net과 다른 비전 트랜스포머 기반 아키텍처를 모두 압도함.
• 트랜스포머 기반 모델은 CNN 기반 모델보다 학습 중 더 빠른 수렴을 보였으며, 이는 향상된 최적화 역학을 시사함.
• 더 높은 정확도에도 불구하고 트랜스포머 기반 모델은 메모리 소비가 현저히 높고 추론 효율성이 낮음.
• 선택된 손실 함수는 검증 및 테스트 데이터셋에서 일관된 성능을 보이며 모델 일반화 능력 향상을 입증함.
• 비전 트랜스포머 기반 아키텍처에서 학습 안정성이 더 높았으며, 학습 변동성이 적고 입력 변동에 대한 강건성이 뛰어남.
• 결과는 SwinUNet과 같은 하이브리드 아키텍처가 U-Net의 국소 인덕티브 바이어스와 비전 트랜스포머의 전역 주의 메커니즘을 효과적으로 융합하여 열열한 균열 세그멘테이션 성능을 달성함을 확인함.