[논문 리뷰] Zero-Shot Refinement of Buildings' Segmentation Models using SAM
이 논문은 사전 학습된 CNN를 프롬프트 생성기로 사용하여 Segment Anything Model(SAM)를 프롬프트 엔지니어링을 통해 원격 감지에서 인스턴스 세분화를 구축하기 위한 제로샷 정련 방법을 제안한다. 이 방법은 미세조정 없이도 경계 상자 프롬프트를 사용하여 SAM의 국소화 및 인식 능력을 향상시켜, 분류 정확도를 크게 향상시킨다. 특히, 분포 외 WHU Buildings 데이터셋에서 IoU가 5.47% 향상되고 F1-스코어가 4.81% 향상되었다.
Foundation models have excelled in various tasks but are often evaluated on general benchmarks. The adaptation of these models for specific domains, such as remote sensing imagery, remains an underexplored area. In remote sensing, precise building instance segmentation is vital for applications like urban planning. While Convolutional Neural Networks (CNNs) perform well, their generalization can be limited. For this aim, we present a novel approach to adapt foundation models to address existing models' generalization dropback. Among several models, our focus centers on the Segment Anything Model (SAM), a potent foundation model renowned for its prowess in class-agnostic image segmentation capabilities. We start by identifying the limitations of SAM, revealing its suboptimal performance when applied to remote sensing imagery. Moreover, SAM does not offer recognition abilities and thus fails to classify and tag localized objects. To address these limitations, we introduce different prompting strategies, including integrating a pre-trained CNN as a prompt generator. This novel approach augments SAM with recognition abilities, a first of its kind. We evaluated our method on three remote sensing datasets, including the WHU Buildings dataset, the Massachusetts Buildings dataset, and the AICrowd Mapping Challenge. For out-of-distribution performance on the WHU dataset, we achieve a 5.47\% increase in IoU and a 4.81\% improvement in F1-score. For in-distribution performance on the WHU dataset, we observe a 2.72\% and 1.58\% increase in True-Positive-IoU and True-Positive-F1 score, respectively. Our code is publicly available at this Repo (https://github.com/geoaigroup/GEOAI-ECRS2023), hoping to inspire further exploration of foundation models for domain-specific tasks within the remote sensing community.
연구 동기 및 목표
- 기초 모델인 SAM이 원격 감지에서 특히 건물 풋프린트 세분화에 있어 일반화 능력의 격차를 해결하기 위해.
- SAM의 인식 능력 부족을 보완하기 위해 사전 학습된 CNN를 프롬프트 생성기로 통합하여 객체 분류 및 태그 기능을 가능하게 하기 위해.
- 미세조정 없이도 SAM의 성능을 향상시키는 효과적인 프롬프팅 전략을 탐색하기 위해.
- 내재된 및 분포 외 원격 감지 데이터셋에서 방법의 성능을 평가하여 도메인 간 강건성을 입증하기 위해.
- 향후 기초 모델을 도메인 특화 원격 감지 작업에 적응시키는 데 기여할 수 있도록 공개된 코드베이스를 제공하기 위해.
제안 방법
- 사전 학습된 CNN를 사용하여 RGB 위성 영상에서 세분화 마스크를 생성하고, 이를 바탕으로 SAM에 대한 공간적 프롬프트를 생성한다.
- 다양한 프롬프팅 전략을 평가: 단일 점, 음성 점, 다중 점(랜덤 및 스켈레톤 기반), 경계 상자 프롬프트.
- CNN의 예측 마스크에서 유도된 경계 상자 프롬프트를 SAM의 입력으로 사용하여 세분화 결과를 정련한다.
- 모델의 미세조정이나 추가 애너테이션 없이 제로샷 방식으로 작동한다.
- CNN가 생성한 마스크는 국소화 및 인식 신호 모두로 기능하여 SAM이 건물을 더 정확하게 세분화할 수 있도록 한다.
- CNN의 도메인 특화 국소화 능력과 SAM의 강력한 제로샷 일반화 능력을 조합하여 개선된 인스턴스 세분화를 달성한다.
실험 결과
연구 질문
- RQ1SAM을 원격 감지 영상에서 건물 인스턴스 세분화에 대해 미세조정 없이 효과적으로 적응시킬 수 있는가?
- RQ2점 기반, 다중 점, 또는 경계 상자 프롬프트 중에서 어떤 전략이 원격 감지 영상에서 건물의 세분화 정확도를 가장 높이는가?
- RQ3사전 학습된 CNN를 프롬프트 생성기로 통합하면 SAM의 인식 및 세분화 성능이 원격 감지 데이터에서 향상되는가?
- RQ4기본 모델인 CNN 모델과 비교해 볼 때, 제안된 방법은 분포 외 원격 감지 데이터셋에서 어떻게 성능을 내는가?
- RQ5왜 스켈레톤 기반 다중 점 프롬프트가 이 설정에서 랜덤 다중 점 프롬프트를 능가하지 못하는가?
주요 결과
- 분포 외 WHU Buildings 데이터셋에서 경계 상자 프롬프트 전략은 기본 CNN 대비 IoU가 5.47% 향상되고 F1-스코어가 4.81% 향상되었다.
- WHU 데이터셋의 내재된 분포 성능에서, 이 방법은 True-Positive-IoU가 2.72% 향상되고 True-Positive-F1-score가 1.58% 향상되었다.
- 경계 상자 프롬프트는 단일 점, 음성 점, 다중 점 프롬프트를 포함한 모든 다른 프롬프팅 전략보다 우수한 성능을 보였다.
- 매사추세츠 건물 및 AICrowd Mapping Challenge 데이터셋에서도 뛰어난 성능을 기록했으며, TP-IoU와 TP-F1에서 두드러진 향상이 있었다.
- 놀랍게도 스켈레톤 기반 다중 점 프롬프트는 랜덤 다중 점 전략을 능가하지 못했으며, 이는 이 맥락에서 점의 분포 패턴이 SAM의 성능에 핵심적이지 않을 수 있음을 시사한다.
- 사전 학습된 CNN를 프롬프트 생성기로 통합함으로써 SAM은 인식 능력을 갖추게 되었고, 이는 원격 감지 영상에서 건물을 정확하게 세분화하고 태그 지정할 수 있도록 했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.