[논문 리뷰] GAMUS: A Geometry-aware Multi-modal Semantic Segmentation Benchmark for Remote Sensing Data

Zhitong Xiong, Sining Chen외 3명|arXiv (Cornell University)|2023. 05. 24.

Remote Sensing and LiDAR ApplicationsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 공액된 RGB 및 정규화된 디지털 표면 모델(nDSM) 데이터를 사용하여 고해상도 원격 감시를 위한 대규모이고 기하학적 정보를 고려한 다중 모odal 의미 분할 벤치마크인 GAMUS를 소개한다. 이는 토큰 수준에서 특징을 적응적으로 융합함으로써 기존 방법에 비해 모든 클래스에서 mIoU를 크게 향상시키는 새로운 트랜스포머 기반 중간 다중 모달 융합(TIMF) 모듈을 제안한다.

ABSTRACT

Geometric information in the normalized digital surface models (nDSM) is highly correlated with the semantic class of the land cover. Exploiting two modalities (RGB and nDSM (height)) jointly has great potential to improve the segmentation performance. However, it is still an under-explored field in remote sensing due to the following challenges. First, the scales of existing datasets are relatively small and the diversity of existing datasets is limited, which restricts the ability of validation. Second, there is a lack of unified benchmarks for performance assessment, which leads to difficulties in comparing the effectiveness of different models. Last, sophisticated multi-modal semantic segmentation methods have not been deeply explored for remote sensing data. To cope with these challenges, in this paper, we introduce a new remote-sensing benchmark dataset for multi-modal semantic segmentation based on RGB-Height (RGB-H) data. Towards a fair and comprehensive analysis of existing methods, the proposed benchmark consists of 1) a large-scale dataset including co-registered RGB and nDSM pairs and pixel-wise semantic labels; 2) a comprehensive evaluation and analysis of existing multi-modal fusion strategies for both convolutional and Transformer-based networks on remote sensing data. Furthermore, we propose a novel and effective Transformer-based intermediary multi-modal fusion (TIMF) module to improve the semantic segmentation performance through adaptive token-level multi-modal fusion.The designed benchmark can foster future research on developing new methods for multi-modal learning on remote sensing data. Extensive analyses of those methods are conducted and valuable insights are provided through the experimental results. Code for the benchmark and baselines can be accessed at \url{https://github.com/EarthNets/RSI-MMSegmentation}.

연구 동기 및 목표

• 다중 모달 원격 감시 의미 분할을 위한 대규모, 다양한, 통합된 벤치마크의 부족을 해결하기 위해.
• 모든 컨volutional 및 트랜스포머 기반 네트워크에서 다중 모달 융합 전략의 공정하고 종합적인 평가를 가능하게 하기 위해.
• nDSM에서 유도된 기하학적 정보가 의미 분할 성능 향상에 기여하는지 탐색하기 위해.
• 원격 감시 데이터를 위한 새로운 적응형 토큰 수준 다중 모달 융합 메커니즘의 개발 및 검증을 위해.
• 지구 관측을 위한 향후 연구를 위한 표준화된 플랫폼 제공을 위해.

제안 방법

• GAMUS 벤치마크는 6개 클래스(지면, 식생, 건물, 물, 도로, 나무)에 대한 픽셀 단위 의미 주석이 있는 1,000개의 고해상도(0.33m) 공액된 RGB 및 nDSM 이미지 쌍을 포함한다.
• CNN 및 트랜스포머 기반 아키텍처에서 다중 모달 융합 전략을 비교하기 위한 종합적인 평가 프로토콜을 수립한다.
• 제안된 TIMF 모듈은 트랜스포머 인코더에서 크로스 어텐션 메커니즘을 사용하여 RGB 및 nDSM 특징을 토큰 수준에서 적응적으로 융합한다.
• TIMF 모듈은 모odal별 특징을 학습 가능한 융합 게이트를 통해 통합하고, 교차 모달 표현에 주목함으로써 특징의 구분 능력을 향상시킨다.
• 벤치마크는 지도 학습 및 제로샷 평가 프로토콜을 모두 지원하여 일반화 및 강인성 분석이 가능하다.
• 융합 전략, 모달 중요도, 모델 아키텍처가 분할 정확도에 미치는 영향을 분석하기 위해 광범위한 아블레이션 연구를 수행한다.

Figure 1 : Example images of the GAMUS dataset. Images from left to right are the RGB modality, the nDSM modality, the blending visualization image, and the segmentation label.

실험 결과

연구 질문

• RQ1 nDSM에서 유도된 기하학적 정보가 원격 감시 의미 분할 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ2 고해상도 원격 감시 데이터에서 다양한 다중 모달 융합 전략의 성능 및 강인성은 어떻게 비교되는가?
• RQ3 기하학적 정보를 고려한 융합을 사용할 경우, 트랜스포머 기반 아키텍처가 CNN보다 다중 모달 원격 감시 분할에서 우월한 성능을 보일 수 있는가?
• RQ4 RGB 및 nDSM 모달을 더 잘 분할하기 위해 적응형 토큰 수준 융합을 수행하는 최적의 방법은 무엇인가?
• RQ5 GAMUS에서 훈련된 다중 모달 모델은 새로운 지역이나 시나리오로의 일반화 능력은 얼마나 되는가?

주요 결과

• 제안된 TIMF 모듈은 GAMUS 벤치마크에서 최고의 평균 교차율(mIoU) 0.7638을 달성하여 모든 베이스라인 방법을 압도한다.
• 특히 TIMF 모듈을 결합한 트랜스포머 기반 모델은 CNN 기반 대비 상대적으로 10.5% 향상된 mIoU를 기록하며 뚜렷한 성능 향상을 보였다.
• 백본으로 SegFormer를 사용한 CMX 모델은 mIoU 0.7523을 달성하여 자기주의 메커니즘이 글로벌 컨텍스트를 잘 포착함을 보여주었다.
• nDSM의 기하학적 구조를 명시적으로 모델링하는 융합 전략(예: ShapeConv, VCD)은 단순 연결 또는 조기 융합에 비해 일관되게 성능 향상을 보였다.
• TIMF 모듈의 mIoU는 지면 클래스에서 0.8023, 식생에서 0.6797, 건물에서 0.8452, 물에서 0.6955, 도로에서 0.7368, 나무에서 0.8232를 기록하여 다양한 지형 커버 유형에 걸쳐 강력한 일반화 능력을 보였다.
• 정성적 결과는 TIMF가 특히 혼합 텍스처와 높이를 가진 복잡한 도시 지역에서 더 선명하고 일관성 있는 분할 경계를 생성함을 보여주었다.

Figure 2 : Data collection and processing of the GAMUS dataset.