[논문 리뷰] CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers

Jiaming Zhang, Huayao Liu외 4명|arXiv (Cornell University)|2022. 03. 09.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 RGB-X 세분화를 위한 통합형 트랜스포머 기반의 다중모달 융합 프레임워크인 CMX를 제안한다. 이는 깊이, 열화상, 편광, 이벤트, LiDAR와 같은 다양한 모달리티에 일반화되며, 양방향 특징 캘리브레이션을 위한 다중모달 특징 교정 모듈(CM-FRM)과 크로스 어텐션을 활용한 특징 융합 모듈(FFM)을 도입하여 장거리 맥락 정보를 교환한다. CMX는 9개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이벤트스케이프 데이터셋을 기반으로 한 RGB-이벤트 세분화에서 새로운 SOTA 성능을 기록하였다.

ABSTRACT

Scene understanding based on image segmentation is a crucial component of autonomous vehicles. Pixel-wise semantic segmentation of RGB images can be advanced by exploiting complementary features from the supplementary modality (X-modality). However, covering a wide variety of sensors with a modality-agnostic model remains an unresolved problem due to variations in sensor characteristics among different modalities. Unlike previous modality-specific methods, in this work, we propose a unified fusion framework, CMX, for RGB-X semantic segmentation. To generalize well across different modalities, that often include supplements as well as uncertainties, a unified cross-modal interaction is crucial for modality fusion. Specifically, we design a Cross-Modal Feature Rectification Module (CM-FRM) to calibrate bi-modal features by leveraging the features from one modality to rectify the features of the other modality. With rectified feature pairs, we deploy a Feature Fusion Module (FFM) to perform sufficient exchange of long-range contexts before mixing. To verify CMX, for the first time, we unify five modalities complementary to RGB, i.e., depth, thermal, polarization, event, and LiDAR. Extensive experiments show that CMX generalizes well to diverse multi-modal fusion, achieving state-of-the-art performances on five RGB-Depth benchmarks, as well as RGB-Thermal, RGB-Polarization, and RGB-LiDAR datasets. Besides, to investigate the generalizability to dense-sparse data fusion, we establish an RGB-Event semantic segmentation benchmark based on the EventScape dataset, on which CMX sets the new state-of-the-art. The source code of CMX is publicly available at https://github.com/huaaaliu/RGBX_Semantic_Segmentation.

연구 동기 및 목표

• 자율주행 분야에서 다중모달 세분화를 위한 모달리티에 관계없는 모델의 부족을 해결하기 위해.
• 깊이, 열화상, 이벤트, LiDAR와 같은 다양한 보완적인 센서 모달리티를 단일 통합 아키텍처에서 효과적으로 융합할 수 있도록 하기 위해.
• 다양한 모달리티 간의 특징 캘리브레이션을 통해 저조도, 저텍스처 및 고다이나믹 레인지 조건에서의 정확성과 강건성을 향상시키기 위해.
• 밀도 높은-낮은 데이터 융합 능력을 평가하기 위해 RGB-이벤트 세분화의 새로운 벤치마크를 설정하기 위해.
• 실세계 자율주행 차량 인식에 일반화 가능하고 효율적이며 정확한 솔루션을 개발하기 위해.

제안 방법

• RGB와 X모달리티 특징 간 크로스 어텐션을 활용해 채널 및 공간 기반 특징 캘리브레이션을 수행하는 다중모달 특징 교정 모듈(CM-FRM)을 제안한다.
• 순서-순서 크로스 어텐션과 혼합 채널 임베딩을 활용한 특징 융합 모듈(FFM)을 도입하여 장거리 맥락 특징의 이중 방향 교환을 가능하게 한다.
• RGB 및 X모달리티 입력에서 공동 특징 추출을 위해 비전 트랜스포머 기반 인코더(예: SegFormer)를 사용한다.
• 모든 모달리티를 동일한 CMX 아키텍처를 통해 처리함으로써 모달리티 쌍에 따라 아키텍처 재설계 없이 모달리티에 관계없는 융합을 구현한다.
• 밀도 높은-낮은 데이터 융합 능력을 평가하기 위해 이벤트스케이프 데이터셋 기반의 새로운 RGB-이벤트 세분화 벤치마크를 도입한다.
• 다중모달 세분화 작업에서 mIoU 최적화를 위해 교차 엔트로피 손실과 딱지 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 깊이, 열화상, 편광, 이벤트, LiDAR와 같은 서로 다른 모달리티를 단일 통합 모델이 효과적으로 융합할 수 있는가?
• RQ2 다중모달 특징 캘리브레이션은 저텍스처, 저조도 또는 고다이나믹 레인지 조건에서 성능 향상에 어떻게 기여하는가?
• RQ3 특징 교정을 통한 이중 방향 크로스 어텐션은 단방향 또는 조기 융합보다 더 나은 장거리 맥락 모델링을 이끌어내는가?
• RQ4 CMX는 고속도 이벤트 데이터와 표준 RGB 이미지를 융합하는 밀도 높은-낮은 데이터 융합에 일반화 가능한가?
• RQ5 여러 벤치마크 데이터셋에서 기존의 모달리티 특화 모델 대비 CMX의 성능 향상은 어느 정도인가?

주요 결과

• SegFormer-B5를 사용하여 NYU Depth V2 데이터셋에서 56.8%의 SOTA mIoU 성능을 달성하였다.
• 이벤트스케이프 기반의 새로운 RGB-이벤트 벤치마크에서 CMX는 새로운 SOTA mIoU 성능을 기록하여 밀도 높은-낮은 융합에 대한 강력한 일반화 능력을 입증하였다.
• RGB-열화상 작업에서 RGB 전용 기반 모델 대비 저조도 조건에서 5.2% mIoU 향상을 기록하였다.
• CM-FRM 모듈은 LiDidar 데이터의 노이즈 민감도를 감소시켜 흐린 또는 흐릿한 포인트 클러스터에서도 차량의 완전하고 정확한 세분화를 가능하게 하였다.
• SegFormer-B2를 사용한 CMX는 단지 67.6 GFLOPs로 54.1% mIoU 성능을 달성하여 실시간 응용에 적합한 정확성-효율성 트레이드오프를 제공한다.
• 정성적 결과는 CMX가 모달리티 특화 신호를 활용하여 유리 표면, 움직이는 물체, 저텍스처 영역(예: 침대를 소파로 오인하는 경우)과 같은 도전적인 케이스를 정확히 세분화하고 있음을 보여주었다.