[논문 리뷰] A Unified Framework with Multimodal Fine-tuning for Remote Sensing Semantic Segmentation

Xianping Ma, Xiaokang Zhang외 2명|arXiv (Cornell University)|2024. 10. 15.

Geographic Information Systems Studies인용 수 4

한 줄 요약

이 논문은 다중 모odal 원격 감시 세분화 작업을 위해 Segment Anything Model(SAM)을 다중 모달 어댑터(MMAdapter)와 피라미드 기반 딥 퓨전 모듈(DFM)을 사용하여 미세조정하는 통합 프레임워크 MANet을 제안한다. 파rameter 효율적 적응을 통해 SAM의 일반 지식을 활용함으로써 MANet는 ISPRS Vaihingen 및 Potsdam 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, SAM이 비광학적 DSM 데이터를 세분화 작업에서 효과적으로 처리할 수 있음을 처음으로 입증하였다.

ABSTRACT

Multimodal remote sensing data, acquired from diverse sensors, offer a comprehensive and integrated perspective of the Earth's surface. Leveraging multimodal fusion techniques, semantic segmentation enables detailed and accurate analysis of geographic scenes, surpassing single-modality approaches. Building on advancements in vision foundation models, particularly the Segment Anything Model (SAM), this study proposes a unified framework incorporating a novel Multimodal Fine-tuning Network (MFNet) for remote sensing semantic segmentation. The proposed framework is designed to seamlessly integrate with various fine-tuning mechanisms, demonstrated through the inclusion of Adapter and Low-Rank Adaptation (LoRA) as representative examples. This extensibility ensures the framework's adaptability to other emerging fine-tuning strategies, allowing models to retain SAM's general knowledge while effectively leveraging multimodal data. Additionally, a pyramid-based Deep Fusion Module (DFM) is introduced to integrate high-level geographic features across multiple scales, enhancing feature representation prior to decoding. This work also highlights SAM's robust generalization capabilities with Digital Surface Model (DSM) data, a novel application. Extensive experiments on three benchmark multimodal remote sensing datasets, ISPRS Vaihingen, ISPRS Potsdam and MMHunan, demonstrate that the proposed MFNet significantly outperforms existing methods in multimodal semantic segmentation, setting a new standard in the field while offering a versatile foundation for future research and applications. The source code for this work is accessible at https://github.com/sstary/SSRS.

연구 동기 및 목표

• 자연 이미지와는 상당히 다름 센서 유형, 해상도, 스펙트럼 특성에서 다를 수 있는 다중 모달 원격 감시 데이터에 대규모 시각 기초 모델(SAM 등)을 적용하는 데 도전한다.
• 기존 모델이 작업 전용 데이터에만 훈련된 데 비해, SAM과 같은 기초 모델에 내장된 일반 지식을 활용하여 이러한 제한을 극복한다.
• 특히 광학 이미지와 DSM 간의 융합을 효과적으로 수행하기 위해, 전체 미세조정 없이 SAM의 이미지 인코더를 미세조정할 수 있도록 새로운 다중 모달 어댑터(MMAdapter)를 도입한다.
• 디지털 표면 모델(DSM)과 같은 비광학적 데이터에 대해 SAM의 이미지 인코더를 효과적으로 활용할 수 있음을 입증함으로써, RGB 이미지 외의 적용 범위를 확장한다.
• 단일 GPU 하드웨어에서 구동 가능한 확장성 있고 파rameter 효율적인 프레임워크를 개발하여, 자원 제약이 있는 원격 감시 응용 분야에서 대규모 기초 모델의 광범위한 도입을 가능하게 한다.

제안 방법

• SAM의 ViT 기반 이미지 인코더에 삽입되는 다중 모달 어댑터(MMAdapter)를 도입하여, 다중 모달 원격 감시 데이터에 대해 파rameter 효율적 미세조정이 가능하도록 한다.
• MMAdapter는 여러 인코더 블록에서 다중 모달 특징(예: 광학 및 DSM)을 연속적으로 융합함으로써, 작업에 관계없이 지식을 유지하면서도 원격 감시 모달 분포에 적응한다.
• 다양한 모달에서 고수준의 다중 척도 특징을 디코딩 이전에 집계하는 피라미드 기반 딥 퓨전 모듈(DFM)을 통합하여 의미 표현 학습을 향상시킨다.
• SAM의 프롬프트 인코더와 마스크 디코더를 그대로 사용하여, 세분화 헤드 추론에 강력한 제로샷 일반화 능력을 활용한다.
• 주 키워드를 동결한 채 어댑터 기반 미세조정을 적용하여, 훈련 가능한 파라미터와 메모리 사용량을 최소화하면서도 높은 성능을 유지한다.
• 세분화 정확도에 최적화된 손실 함수를 사용하여, 고해상도 다중 모달 데이터셋(ISPRS Vaihingen 및 Potsdam)에서 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 자연 이미지에서 사전 훈련된 Segment Anything Model(SAM)이 비광학적 데이터인 DSM을 포함한 다중 모달 원격 감시 세분화 작업에 효과적으로 적응할 수 있는가?
• RQ2 제안된 다중 모달 어댑터(MMAdapter)는 전체 미세조정 없이 SAM의 이미지 인코더를 원격 감시 데이터에 대해 파라미터 효율적으로 미세조정하는 데 얼마나 효과적인가?
• RQ3 피라미드 기반 딥 퓨전 모듈(DFM)은 다중 척도 및 다중 모달 특징 융합을 향상시키는 데 기여하는가?
• RQ4 SAM의 일반 지식이 비광학적 모달(예: DSM)을 사용할 경우 원격 감시 환경에 얼마나 잘 전이되는가?
• RQ5 제안된 MANet 프레임워크는 단일 GPU에서 낮은 계산 및 메모리 비용을 유지하면서도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• MANet는 ViT-H 백본을 사용하여 ISPRS Potsdam 데이터셋에서 평균 교차점(мIoU) 85.03%를 달성하였으며, FTransUNet(84.23%) 및 CMGFNet(82.26%)와 같은 기존 방법들을 크게 능가하였다.
• 제거 실험 결과, MMAdapter와 DFM 모두 필수적임을 확인: 둘 중 하나를 제거하면 мIoU가 0.5점 이상 감소하였으며, 전체 모델은 Vaihingen에서 84.72% мIoU를 기록하였다.
• 배치 크기를 10에서 6으로 줄여도 모델 성능이 유지되어 하드웨어 제약 조건 하에서도 강건성과 효율성을 입증하였다.
• 단일 NVIDIA RTX 3090 GPU를 사용하여 ViT-L 및 ViT-H 백본을 훈련할 수 있었으며, 각각 훈련 가능한 파라미터 수가 56.67M 및 111.28M에 불과하여 낮은 메모리 및 파라미터 오버헤드를 입증하였다.
• 히트맵 시각화 결과, 미세조정된 SAM 인코더가 DSM 데이터를 효과적으로 활용하고 있음을 확인하였으며, 적절한 적응을 통해 SAM이 비광학적 모달로 일반화될 수 있음을 보여주었다.
• 이 연구는 SAM이 DSM 데이터에서 효과성을 입증한 최초의 작업으로, 기초 모델을 최소한의 아키텍처 변경으로 다중 모달 원격 감시 작업에 성공적으로 적응시킬 수 있음을 증명하였다.