[논문 리뷰] Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images

Fahimeh Fooladgar, Shohreh Kasaei|arXiv (Cornell University)|2019. 12. 25.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 RGB-Depth 세분화를 위한 효율적인 인코더-디코더 CNN을 제안하며, 새로운 다중 모odal 주의 기반 융합 블록(AFB)을 도입한다. AFB는 순차적인 채널 및 공간 주의 메커니즘을 사용하여 RGB 및 깊이 브랜치의 특징을 적응적으로 융합함으로써 특징 표현을 향상시키면서도 계산 비용을 절감한다. 모델는 이전 방법 대비 50% 더 작은 모델 크기와 250G의 더 적은 FLOPs를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The 3D scene understanding is mainly considered as a crucial requirement in computer vision and robotics applications. One of the high-level tasks in 3D scene understanding is semantic segmentation of RGB-Depth images. With the availability of RGB-D cameras, it is desired to improve the accuracy of the scene understanding process by exploiting the depth features along with the appearance features. As depth images are independent of illumination, they can improve the quality of semantic labeling alongside RGB images. Consideration of both common and specific features of these two modalities improves the performance of semantic segmentation. One of the main problems in RGB-Depth semantic segmentation is how to fuse or combine these two modalities to achieve more advantages of each modality while being computationally efficient. Recently, the methods that encounter deep convolutional neural networks have reached the state-of-the-art results by early, late, and middle fusion strategies. In this paper, an efficient encoder-decoder model with the attention-based fusion block is proposed to integrate mutual influences between feature maps of these two modalities. This block explicitly extracts the interdependences among concatenated feature maps of these modalities to exploit more powerful feature maps from RGB-Depth images. The extensive experimental results on three main challenging datasets of NYU-V2, SUN RGB-D, and Stanford 2D-3D-Semantic show that the proposed network outperforms the state-of-the-art models with respect to computational cost as well as model size. Experimental results also illustrate the effectiveness of the proposed lightweight attention-based fusion model in terms of accuracy.

연구 동기 및 목표

• 실내 환경에서 RGB와 깊이 모odal을 효과적으로 융합하여 세분화 정확도를 향상시키는 것.
• 계산 비용이 효율적인 방법으로 RGB-D 세분화에서 모달리티 융합 문제를 해결하는 것.
• RGB와 깊이 특징 맵 간의 상호의존성을 포착하는 경량 주의 메커니즘을 개발하는 것.
• 모델 크기와 FLOPs를 줄이면서도 세분화 성능을 유지하거나 향상시키는 것.
• 표준 벤치마크(NYU-V2, SUN RGB-D, 2D-3D-Semantic)에서 종합적인 지표를 사용해 방법을 평가하는 것.

제안 방법

• 모델는 RGB 및 깊이 이미지 전용 별도의 인코더 브랜치를 갖는 이중 인코더, 단일 디코더 아키텍처를 사용한다.
• 각 인코더 블록 이후에 주의 기반 융합 블록(AFB)을 삽입하여 양 모달리티의 특징을 융합한다.
• AFB는 채널 주의를 먼저 적용한 후 공간 주의를 적용하여 특징 맵에 대한 적응적인 융합 가중치를 계산한다.
• 주의 메커니즘은 압축-강화 네트워크를 영감으로 받아 상호 채널 간 의존성에 기반해 특징 맵을 재조정한다.
• 디코더에 경량 체인 잔차 풀링 레이어를 추가하여 계산 비용을 증가시키지 않고도 전역적 맥락을 포착한다.
• 양 모달리티의 특징 맵을 연결하여 AFB를 통해 처리함으로써 향상된 모달리티 인식 융합 특징을 생성한다.

실험 결과

연구 질문

• RQ1 실내 환경에서 RGB와 깊이 특징을 어떻게 효과적으로 융합하여 세분화 성능을 향상시킬 수 있는가?
• RQ2 주의 기반 메커니즘이 다중 모달 세분화에서 정확도를 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ3 모델 크기, FLOPs, 세분화 정확도 측면에서 제안된 모델은 최신 기술 수준의 방법과 어떻게 비교되는가?
• RQ4 주의 기반 융합 블록은 초기, 후기 또는 중간 수준 융합 전략에 비해 특징 표현을 얼마나 향상시키는가?
• RQ5 경계 근처에서 특히 다양한 이미지와 객체 클래스 간에 모델의 성능은 얼마나 일관성 있는가?

주요 결과

• 제안된 모델은 NYU-V2, SUN RGB-D, 2D-3D-Semantic 데이터셋에서 평균 IoU, 전반적 정확도, 평균 정확도 측면에서 최신 기술 수준의 성능을 달성한다.
• 최고 성능을 기록한 이전 방법 대비 약 250G의 FLOPs를 절감하여 계산 효율성에서 뚜렷한 향상을 보였다.
• 최신 기술 수준의 모델 대비 모델 크기가 50% 감소하여 실시간 및 엣지 장치에 더 적합하다.
• 누적 분포 함수(CDF) 분석 결과, 테스트 이미지의 70% 이상에서 전반적 정확도가 80% 이상을 기록하여 이미지 간 일관성 있는 성능을 보였다.
• 경계 이격 오차(BDE) 분석 결과, '바닥' 및 '의자'와 같은 클래스에서 60%의 이미지가 10 픽셀 이내의 경계 불일치를 보이며 높은 경계 정렬 정확도를 입증했다.
• SUN RGB-D 및 NYU-V2 데이터셋에서의 정성적 결과 분석을 통해, 특히 가림되거나 저조도 영역에서 더 선명하고 정확한 세분화 결과를 도출함을 확인했다.