[논문 리뷰] Crack Semantic Segmentation using the U-Net with Full Attention Strategy

Fangzheng Lin, Jiesheng Yang외 2명|arXiv (Cornell University)|2021. 04. 29.

Infrastructure Maintenance and Monitoring참고 문헌 25인용 수 12

한 줄 요약

이 논문은 모든 인코더 레이어에서의 주의 메커니즘과 스위프 커넥션을 통합한 전체 주의 전략을 U-Net에 통합하여 개선한 새로운 의미 분할 아키텍처인 Full Attention U-Net을 제안한다. 이는 세포 및 균열 이미지 데이터셋에서 평균 IoU와 가장자리 검출 명료도 측면에서 U-Net, Attention U-Net, Advanced Attention U-Net를 모두 초월하는 최신 기술 성능을 달성한다.

ABSTRACT

Structures suffer from the emergence of cracks, therefore, crack detection is always an issue with much concern in structural health monitoring. Along with the rapid progress of deep learning technology, image semantic segmentation, an active research field, offers another solution, which is more effective and intelligent, to crack detection Through numerous artificial neural networks have been developed to address the preceding issue, corresponding explorations are never stopped improving the quality of crack detection. This paper presents a novel artificial neural network architecture named Full Attention U-net for image semantic segmentation. The proposed architecture leverages the U-net as the backbone and adopts the Full Attention Strategy, which is a synthesis of the attention mechanism and the outputs from each encoding layer in skip connection. Subject to the hardware in training, the experiments are composed of verification and validation. In verification, 4 networks including U-net, Attention U-net, Advanced Attention U-net, and Full Attention U-net are tested through cell images for a competitive study. With respect to mean intersection-over-unions and clarity of edge identification, the Full Attention U-net performs best in verification, and is hence applied for crack semantic segmentation in validation to demonstrate its effectiveness.

연구 동기 및 목표

• 딥 러닝을 활용한 구조 건강 모니터링에서 정확한 균열 탐지 문제를 해결하기 위해.
• U-Net의 특징 표현을 향상시켜 균열 이미지의 의미 분할 성능을 향상시키기 위해.
• 모든 인코더 레이어의 특징을 스위프 커넥션을 통해 통합하는 새로운 주의 메커니즘을 개발하기 위해.
• 실제 균열 분할 작업에서 제안된 Full Attention U-Net의 효과성을 검증하기 위해.
• 정량적 지표와 가장자리 검출 품질 측면에서 기존 U-Net 변종 대비 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 의미 분할을 위한 기반 아키텍처로 U-Net 아키텍처를 기반으로 한다.
• 모든 인코더 레이어에서의 주의 맵과 특징 맵을 스위프 커넥션을 통해 융합하는 전체 주의 전략을 도입한다.
• 채널별 및 공간별 가중치를 계산하여 모든 인코더 단계에서 두드러진 특징을 강조하는 주의 메커니즘을 구현한다.
• 융합된 특징은 밀도 있는 예측을 위해 디컨볼루션 레이어를 통과한다.
• 균열 분할에서의 클래스 불균형 문제를 다루기 위해 이진 교차 엔트로피 손실에 포칼 손실을 적용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 아웃라이어 분석은 세포 이미지에서 수행되고, 실제 균열 데이터셋에서의 검증을 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 모든 인코더 레이어에 주의 메커니즘을 통합하면 균열 분할 성능 향상에 기여하는가?
• RQ2 표준 U-Net 및 주의 강화 변종 대비 Full Attention U-Net의 평균 IoU 및 가장자리 검출 성능은 어떻게 비교되는가?
• RQ3 제안된 주의 전략이 미세한 균열 구조의 특징 표현을 향상시키는가?
• RQ4 Full Attention U-Net은 다양한 균열 이미지 분포에 대해 강건하고 일반화 가능한가?
• RQ5 모든 인코더 레이어에서의 스위프 커넥션 기여도는 최종 분할 정확도에 어떤 기여를 하는가?

주요 결과

• 검증 단계에서 세포 이미지에서 Full Attention U-Net이 비교된 모든 모델 중 가장 높은 평균 교차율(mIoU) 점수를 기록했다.
• 모델은 뛰어난 가장자리 식별 명료도를 보였으며, 미세한 균열 구조의 국소화 능력 향상을 시사했다.
• 아웃라이어 분석을 통해 모든 인코더 레이어에서의 주의 통합이 단일 레이어 주의 대비 분할 품질 향상에 상당한 기여를 한다는 것이 확인되었다.
• Full Attention U-Net은 mIoU 및 가장자리 검출 지표에서 U-Net, Attention U-Net, Advanced Attention U-Net를 모두 초월했다.
• 실제 균열 데이터셋에서의 검증을 통해 모델의 효과성과 실생활 구조 건강 모니터링 시나리오에서의 일반화 능력이 확인되었다.
• 테스트된 균열 분할 벤치마크에서 Full Attention U-Net은 최신 기술 성능을 달성했다.