[논문 리뷰] FEANet: Feature-Enhanced Attention Network for RGB-Thermal Real-time Semantic Segmentation

Fuqin Deng, Hua Feng외 8명|arXiv (Cornell University)|2021. 10. 18.

Advanced Neural Network Applications인용 수 6

한 줄 요약

FEANet는 실시간 RGB-T 세분화를 위한 이단계적 특징 강화 주의망(Feature-Enhanced Attention Network)을 제안하며, 채널 및 공간적 종속성을 모델링함으로써 RGB 및 열화상 스트림에서 다중 수준 특징을 강화하는 새로운 특징 강화 주의 모듈(FEAM)을 사용한다. 도시 데이터셋에서 SOTA 대비 +2.6% mAcc 및 +0.8% mIoU 향상을 달성하면서도 단일 RTX 2080 Ti에서 35 FPS로 실시간 추론를 유지한다.

ABSTRACT

The RGB-Thermal (RGB-T) information for semantic segmentation has been extensively explored in recent years. However, most existing RGB-T semantic segmentation usually compromises spatial resolution to achieve real-time inference speed, which leads to poor performance. To better extract detail spatial information, we propose a two-stage Feature-Enhanced Attention Network (FEANet) for the RGB-T semantic segmentation task. Specifically, we introduce a Feature-Enhanced Attention Module (FEAM) to excavate and enhance multi-level features from both the channel and spatial views. Benefited from the proposed FEAM module, our FEANet can preserve the spatial information and shift more attention to high-resolution features from the fused RGB-T images. Extensive experiments on the urban scene dataset demonstrate that our FEANet outperforms other state-of-the-art (SOTA) RGB-T methods in terms of objective metrics and subjective visual comparison (+2.6% in global mAcc and +0.8% in global mIoU). For the 480 x 640 RGB-T test images, our FEANet can run with a real-time speed on an NVIDIA GeForce RTX 2080 Ti card.

연구 동기 및 목표

• 낮은 조도 또는 복잡한 배경 조건에서 RGB-T 세분화 성능이 열 劣하는 문제를 해결하기 위해.
• 모odal 특성에 맞는 특징을 모델링하여 저품질 열화상 이미지에서의 특징 추출을 향상시키기 위해.
• 도시 환경에서 경계 검출 및 소형 객체 세분화(예: 색깔 콘)를 향상시키기 위해.
• 공간 해상도를 손상시키지 않고도 실시간 추론 속도를 유지하기 위해.

제안 방법

• 이중 단계 네트워크를 도입: 1단계에서는 FEAM 모듈을 사용해 RGB 및 열화상 스트림의 다중 수준 특징을 정제한다.
• FEAM 모듈을 설계하여 채널 간 및 공간적 주의를 모델링함으로써 분류 능력이 뛰어난 저수준 특징을 강화하고 배경 노이즈를 억제한다.
• 다양한 수준에서 특징을 추출하고 강화하기 위해 점진적 정제 기법을 적용하며, 고해상도 세부 정보를 유지한다.
• FEAM 강화 후 요소별 덧셈을 통해 RGB 및 열화상 특징을 융합함으로써 모달 간 호환성을 향상시킨다.
• RGB 및 열화상 분지에 독립적으로 FEAM를 적용하여 모달 특화된 표현을 유지하는 이중 스트림 인코더를 설계한다.
• 스킵 연결을 갖춘 디코더를 사용하여 고해상도 세분화 맵을 재구성하면서도 실시간 속도를 유지한다.

Figure 1: Qualitative comparison with two latest networks in daytime and nighttime urban street scenes. The color cones (the objects marked in the red frame) are too small to detect and segment. We can see that the color cone boundaries segmented by the RTFNet are not so sharp or fail to segment the

실험 결과

연구 질문

• RQ1 공간 해상도를 낮추지 않고도 전용 주의 모듈이 RGB-T 세분화의 특징 표현을 향상시킬 수 있는가?
• RQ2 특히 저품질 열화상 데이터에 대해 모달 특화된 특징 강화가 소형 객체 검출에 어떤 영향을 미치는가?
• RQ3 주의 메커니즘이 어려운 조명 조건에서 경계 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 경량화된 주의 기반 모듈이 SOTA 방법을 능가하면서도 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• FEANet는 테스트 세트에서 73.2% mAcc 및 55.3% mIoU를 달성하여 SOTA 방법 대비 +2.6% mAcc 및 +0.8% mIoU 향상을 보였다.
• 가드레일 클래스는 FuseSeg-161 대비 +7.1% 정확도 및 +0.2% IoU 향상을 보여 소형 객체 세분화 능력이 뛰어나다.
• 색깔 콘 클래스는 +5.4% 정확도 및 +8.4% IoU 향상을 기록하여 미세한 타깃의 경계 검출 능력이 뛰어나다.
• FEANet는 RTX 2080 Ti에서 35.06 FPS(1장당 28.52ms)로 실행되어 실시간 추론 능력을 입증했다.
• 제거 실험 결과, 특히 열화상 스트림에서 FEAM의 적용이 성능 향상에 크게 기여하는 것으로 확인되었다.
• FEAM 모듈은 모든 수준에서 특징 품질을 향상시키며, 특히 저수준 특징 정제 및 경계 선명도 향상에서 가장 두드러진 성과를 보였다.

Figure 2: The overall architecture of the proposed FEANet. From left to right are Thermal Stream, RGB Stream, and Output Stream. The encoder in Thermal Stream and RGB Stream contains two extracting stages. In stage 1, Thermal Stream and RGB Stream use ResNet [ 24 ] as the feature extractor layer. Th