[논문 리뷰] Dual Attention U-Net with Feature Infusion: Pushing the Boundaries of Multiclass Defect Segmentation

Rasha Alshawi, Md Tamjidul Hoque외 8명|arXiv (Cornell University)|2023. 12. 21.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 논문은 데이터가 부족한 상황에서 다중 클래스 결함 세분화를 향상시키기 위해 특징 융합 기반 이중 주의 U-Net인 DAU-FI Net을 제안한다. 다중 척도 깊이 분리형 컨볼루션, 공간-채널 압축-자극 주의, 주의 게이트, 그리고 의미 맵에 의해 안내되는 고버/소벨/캐니 필터 기반 특징 주입을 통합함으로써, 하수도-배수관 결함 데이터셋에서 95.6%의 최고 수준의 평균 IoU를 달성하였고, 벤치마크에서는 98.8%를 기록하여 이전 방법들보다 각각 8.9%와 12.6% 높게 성능을 냈으며, 파rameter 수는 1.46M에 불과하다.

ABSTRACT

The proposed architecture, Dual Attentive U-Net with Feature Infusion (DAU-FI Net), addresses challenges in semantic segmentation, particularly on multiclass imbalanced datasets with limited samples. DAU-FI Net integrates multiscale spatial-channel attention mechanisms and feature injection to enhance precision in object localization. The core employs a multiscale depth-separable convolution block, capturing localized patterns across scales. This block is complemented by a spatial-channel squeeze and excitation (scSE) attention unit, modeling inter-dependencies between channels and spatial regions in feature maps. Additionally, additive attention gates refine segmentation by connecting encoder-decoder pathways. To augment the model, engineered features using Gabor filters for textural analysis, Sobel and Canny filters for edge detection are injected guided by semantic masks to expand the feature space strategically. Comprehensive experiments on a challenging sewer pipe and culvert defect dataset and a benchmark dataset validate DAU-FI Net's capabilities. Ablation studies highlight incremental benefits from attention blocks and feature injection. DAU-FI Net achieves state-of-the-art mean Intersection over Union (IoU) of 95.6% and 98.8% on the defect test set and benchmark respectively, surpassing prior methods by 8.9% and 12.6%, respectively. Ablation studies highlight incremental benefits from attention blocks and feature injection. The proposed architecture provides a robust solution, advancing semantic segmentation for multiclass problems with limited training data. Our sewer-culvert defects dataset, featuring pixel-level annotations, opens avenues for further research in this crucial domain. Overall, this work delivers key innovations in architecture, attention, and feature engineering to elevate semantic segmentation efficacy.

연구 동기 및 목표

• 실제 인프라 점검에서 흔한 소규모이고 불균형한 데이터셋에서의 다중 클래스 의미 세분화 문제를 해결한다.
• 특히 희귀 결함 클래스에 대해 데이터 부족 상황에서도 결함 국소화 및 세분화 정밀도를 향상시킨다.
• 의미 맵에 의해 안내되는 주의 기반 주입을 통해 도메인 특화 공학 특징(Gabor, Sobel, Canny)을 딥 러닝과 융합하여 특징 표현을 향상시킨다.
• 주의 메커니즘과 아키텍처 혁신을 통해 모델 효율성과 성능을 최적화하고, 파rameter 수를 최소화하면서도 정확도를 극대화한다.
• 미래 연구를 가능하게 하기 위해 새로운 픽셀 수준의 애너테이션을 가진 하수도-배수관 결함 데이터셋을 구축하여 새로운 벤치마크를 설정한다.

제안 방법

• 에코더-디코더 U-Net 아키텍처에 다중 척도 깊이 분리형 컨볼루션을 통합하여 계층적 특징 학습을 수행하는 이중 주의 U-Net과 특징 융합 기반의 DAU-FI Net을 제안한다.
• 특징 맵 내 채널과 공간 영역 간의 상호의존성을 모델링하기 위해 동시 공간-채널 압축-자극(scSE) 주의 유닛을 도입하여 표현 품질을 향상시킨다.
• 에코더와 디코더 경로 사이의 스킵 연결에 덧셈형 주의 게이트를 적용하여 특징 융합를 정교화하고 국소화 정확도를 향상시킨다.
• Gabor, Sobel, Canny 필터에서 유도된 공학 특징을 예측된 의미 맵에 기반해 네트워크에 주입함으로써 특징 공간을 풍부하게 하되, 모델 복잡도는 증가시키지 않는다.
• 3×3, 5×5, 1×1 커널을 사용한 다중 척도 깊이 분리형 컨볼루션 블록을 도입하여 다중 척도 국소 패턴을 효율적으로 캡처한다.
• 원본 이미지 데이터와 공학 특징 맵을 모두 활용하는 하이브리드 학습 전략을 적용하며, 주의 맵에 의해 동적으로 안내되는 특징 주입을 통해 공간적 및 의미적 정합성을 유지한다.

Figure 1: The Proposed Dual Attentive U-Net with Feature Infusion (DAU-FI Net) Architecture

실험 결과

연구 질문

• RQ1 동시로 공간적 및 채널적 의존성을 모델링하는 이중 주의 메커니즘이 다중 클래스, 불균형 데이터셋에서 세분화 정확도를 향상시킬 수 있는가?
• RQ2 의미 맵에 의해 안내되는 수작업 특징(Gabor, Sobel, Canny) 주입이 낮은 데이터 환경에서 딥 러닝 성능을 얼마나 향상시킬 수 있는가?
• RQ3 스킵 연결에 주의 게이트를 통합함으로써 U-Net 기반 아키텍처에서 특징 융합 및 국소화 정밀도에 어떤 영향을 미치는가?
• RQ4 주의 블록, 특징 주입, 깊이 분리형 컨볼루션을 조합한 최적의 아키텍처 구성은 무엇인가?
• RQ5 단지 1.46만 개의 파rameter만을 가진 경량 모델이 복잡한 실세계 결함 세분화 작업에서 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• DAU-FI Net은 자체 제작한 하수도-배수관 결함 데이터셋에서 95.6%의 최고 수준 평균 IoU를 기록하여 이전 방법들보다 8.9% 포인트 높은 성능을 보였다.
• 벤치마크 세포핵 데이터셋에서 DAU-FI Net은 평균 IoU 98.8%를 기록하여 이전 SOTA를 12.6% 포인트 초월하였다.
• 제거 실험 결과 각 구성 요소—이중 주의, 특징 주입, 주의 게이트—가 성능 향상에 점진적으로 기여하며, 전체 모델(구성 P6)이 가장 우수한 성능을 냈다.
• 모델는 단지 146만 개의 파rameter로도 높은 정확도를 달성하여 강력한 파rameter 효율성과 실시간 또는 엣지 배포에 적합함을 시사한다.
• 시각적 비교 결과, DAU-FI Net은 지도 데이터에 존재하지 않는 결함까지도 탐지할 수 있었으며, 애너테이션 한계를 초월한 강력한 일반화 능력을 보였다.
• 픽셀 수준의 애너테이션을 가진 정제된 하수도-배수관 결함 데이터셋을 공개하여 향후 자동 인프라 점검 분야의 벤치마킹 및 연구를 가능하게 하였다.

Figure 2: Feature Extraction Methods and Filters.