[논문 리뷰] RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid Attention Mechanisms for Pavement Crack Segmentation

Guijie Zhu, Zhun Fan외 6명|arXiv (Cornell University)|2022. 07. 28.

Infrastructure Maintenance and Monitoring인용 수 8

한 줄 요약

이 논문은 잔차 블록과 하이브리드 주의 메커니즘을 갖춘 인코더-디코더 컨볼루션 신경망인 RHA-Net을 제안한다. 이는 복잡한 실제 환경에서 정확하고 실시간으로 도로 균열을 세분화하는 데 목적이 있다. 특징 융합과 주의 메커니즘을 통합함으로써 RHA-Net은 최신 기술 수준의 성능을 달성하며, U-Net의 1/30에 불과한 파rameter를 가진 경량 버전(RHA-Net*)을 제공하여 임베디드 장치에서 25 FPS로 실시간 추론을 가능하게 한다.

ABSTRACT

The acquisition and evaluation of pavement surface data play an essential role in pavement condition evaluation. In this paper, an efficient and effective end-to-end network for automatic pavement crack segmentation, called RHA-Net, is proposed to improve the pavement crack segmentation accuracy. The RHA-Net is built by integrating residual blocks (ResBlocks) and hybrid attention blocks into the encoder-decoder architecture. The ResBlocks are used to improve the ability of RHA-Net to extract high-level abstract features. The hybrid attention blocks are designed to fuse both low-level features and high-level features to help the model focus on correct channels and areas of cracks, thereby improving the feature presentation ability of RHA-Net. An image data set containing 789 pavement crack images collected by a self-designed mobile robot is constructed and used for training and evaluating the proposed model. Compared with other state-of-the-art networks, the proposed model achieves better performance and the functionalities of adding residual blocks and hybrid attention mechanisms are validated in a comprehensive ablation study. Additionally, a light-weighted version of the model generated by introducing depthwise separable convolution achieves better a performance and a much faster processing speed with 1/30 of the number of U-Net parameters. The developed system can segment pavement crack in real-time on an embedded device Jetson TX2 (25 FPS). The video taken in real-time experiments is released at https://youtu.be/3XIogk0fiG4.

연구 동기 및 목표

• 복잡한 실제 환경에서 배경과 균열 유형이 다양할 경우 정확하고 효율적인 자동 도로 균열 세분화 문제를 해결하기 위해.
• 저수준 특징에서의 배경 잡음과 간섭을 억제하면서 미세한 균열의 특징 표현을 향상시키기 위해.
• 실시간 차량 내 도로 점검을 위한 임베디드 시스템에 배포 가능한 계산 효율성이 높은 모델을 개발하기 위해.
• 잔차 블록과 하이브리드 주의 메커니즘이 세분화 정확도와 강건성 향상에 기여하는지 검증하기 위해.
• 학습 및 평가를 위한 다양한 실제 도로 균열 데이터셋을 구축하기 위해.

제안 방법

• RHA-Net 아키텍처는 인코더-디코더 U-Net 기반 구조에 잔차 블록(ResBlocks)을 통합하여 계층적 특징 학습과 기울기 흐름을 향상시킨다.
• 인코더와 디코더 사이에 하이브리드 주의 블록(HABs)을 삽입하여 채널 및 공간 주의 기반으로 저수준과 고수준 특징을 동적으로 가중 및 융합한다.
• HABs는 압축-선택 메커니즘을 사용하여 특징 맵을 재보정하여 균열의 관련 채널과 공간 영역에 집중한다.
• 경량 버전인 RHA-Net*은 표준 컨볼루션을 딥웨이즈 분리형 컨볼루션으로 대체하여 모델 파라미터와 FLOPs를 크게 감소시킨다.
• 모델는 실제 캠퍼스 도로 조건에서 자가 설계한 이동 로봇을 통해 수집한 789장의 도로 균열 이미지로 구성된 커스터마이즈된 데이터셋에서 훈련 및 평가된다.
• 실시간 배포는 Jetson TX2 임베디드 장치에서 검증되었으며, 25 FPS의 추론 속도를 달성하였다.

실험 결과

연구 질문

• RQ1 잔차 블록과 하이브리드 주의 메커니즘의 통합이 표준 U-Net 아키텍처에 비해 균열 세분화 정확도를 크게 향상시키는가?
• RQ2 하이브리드 주의 메커니즘이 저수준과 고수준 특징을 융합하여 미세하고 미세한 균열 탐지에 얼마나 효과적인가?
• RQ3 딥웨이즈 분리형 컨볼루션은 높은 세분화 성능를 유지하면서 모델 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ4 경량 RHA-Net* 버전이 정확도를 손상시키지 않고 임베디드 하드웨어에서 실시간 추론을 달성할 수 있는가?
• RQ5 복잡한 배경(예: 그림자, 쓰레기, 표시 등)이 있는 실제 도로 이미지에서 모델의 성능은 어떠한가?

주요 결과

• RHA-Net은 모든 네 가지 데이터셋에서 비교 모델들 중 가장 높은 F1 스코어를 기록하여 뛰어난 세분화 정확도를 입증한다.
• 제거 실험 결과, 잔차 블록과 하이브리드 주의 메커니즘이 성능 향상에 크게 기여하며, HABs가 미세한 균열의 특징 표현을 향상시킨다.
• 경량 RHA-Net*은 RHA-Net 대비 모델 파라미터를 0.57 MB(65.86% 감소)와 FLOPs를 9.68 GFLOPs(55.18% 감소)로 줄였으며, 높은 정확도를 유지한다.
• RHA-Net*은 Jetson TX2 임베디드 장치에서 약 25 FPS의 실시간 추론 속도를 달성했으며, U-Net보다 2배 이상 빠른 성능을 보였다.
• 모델은 실제 환경에서 거친 균열과 미세한 균열을 모두 성공적으로 세분화했으며, 낙엽, 물자국, 그림자 등 복잡한 배경에도 불구하고 거짓 양성 결과가 최소한이었다.
• 복잡한 구조를 가진 균열이나 이미지 경계 근처의 균열 탐지에서는 여전히 한계가 있으며, 특히 운동 왜곡이나 불균일한 조명 조건에서 문제가 있다.