[논문 리뷰] The Segment Anything Model (SAM) for Remote Sensing Applications: From Zero to One Shot

Lucas Prado Osco, Qiusheng Wu외 5명|arXiv (Cornell University)|2023. 06. 29.

Remote-Sensing Image Classification인용 수 20

한 줄 요약

본 연구는 다중 스케일 UAV, 항공, 위성 영상에서 SAM을 원격 감지에 대해 평가하고, GroundingDINO를 활용한 원샷 텍스트 프롬프트 강화 기법을 도입하며, 지리공간 SAM 적응을 위한 오픈 소스 코드를 공유한다.

ABSTRACT

Segmentation is an essential step for remote sensing image processing. This study aims to advance the application of the Segment Anything Model (SAM), an innovative image segmentation model by Meta AI, in the field of remote sensing image analysis. SAM is known for its exceptional generalization capabilities and zero-shot learning, making it a promising approach to processing aerial and orbital images from diverse geographical contexts. Our exploration involved testing SAM across multi-scale datasets using various input prompts, such as bounding boxes, individual points, and text descriptors. To enhance the model's performance, we implemented a novel automated technique that combines a text-prompt-derived general example with one-shot training. This adjustment resulted in an improvement in accuracy, underscoring SAM's potential for deployment in remote sensing imagery and reducing the need for manual annotation. Despite the limitations encountered with lower spatial resolution images, SAM exhibits promising adaptability to remote sensing data analysis. We recommend future research to enhance the model's proficiency through integration with supplementary fine-tuning techniques and other networks. Furthermore, we provide the open-source code of our modifications on online repositories, encouraging further and broader adaptations of SAM to the remote sensing domain.

연구 동기 및 목표

• UAV, 항공, 위성 데이터에서 다양한 원격 감지 데이터 세트에 대한 SAM의 제로샷 분할 성능 평가.
• 원격 감지 객체에 대한 SAM의 성능을 향상시키기 위한 텍스트 프롬프트 기반 원샷 미세 조정 접근 방식의 개발 및 평가.
• 지리공간 영상에서 분할 품질을 위해 경계 상자, 포인트, 텍스트 등 프롬프트 모달리티를 비교.
• SAM 기반 지리공간 분할 워크플로우를 가능하게 하는 오픈 소스 도구 제공

제안 방법

• 원격 감지 데이터 및 프롬 prompts(제로샷 및 원샷)에 맞춰 SAM(ViT-H 백본) 적응.
• 경계상자, 포인트, 텍스트 설명자 포함 프롬프트와 GroundingDINO 가이드를 활용한 텍스트 기반 원샷 평가.
• 다중 스케일 마스크를 위한 두 개의 학습 가능한 가중치를 갖는 PerSAM-F 스타일의 학습 방식으로 Dice/Sigmoid Focal 손실을 포함한 학습.
• 해상도와 대상이 다른 일반화를 테스트하기 위해 세 단계 데이터셋(UAV, 항공, 위성)을 사용.
• 마스크 생성을 위한 SamGeo 도구 키트 개발, 출력물을 모자이크 래스터로 병합 및 벡터 변환 지원

Figure 1: Schematic representation of the step-by-step process undertaken in this study to evaluate the efficacy of SAM’s approach in remote sensing image processing tasks.

실험 결과

연구 질문

• RQ1 UAV, 항공, 위성 데이터에 걸친 다중 스케일 원격 감지 영상에서 SAM의 제로샷 분할 성능은 얼마나 우수한가?
• RQ2 텍스트 프롬프트와 단일 예시를 결합한 원샷 텍스트 기반 강화가 원격 감지 객체의 분할 성능을 향상시키는가?
• RQ3 원격 감지 맥락에서 SAM 안내에 효과적인 프롬프트 모달리티(박스, 포인트, 텍스트)는 무엇이며 어떻게 비교되는가?
• RQ4 실무에서 SAM 기반 지리공간 분할을 지원하는 오픈 소스 도구와 워크플로우는 무엇인가?

주요 결과

• SAM은 UAV, 항공, 위성 영상에서 원격 감지 분할에 대한 가능성을 보이며 프롬프트 유형에 따른 유연성을 보여준다.
• GroundingDINO를 이용한 텍스트 프롬프트로부터 목표 객체 표현을 제공하는 텍스트 기반 원샷 접근 방식이 분할 성능을 향상시키는 것으로 나타났다.
• 두 개의 학습 가능한 가중치를 가진 PerSAM-F 스타일의 미세 조정은 원격 감지에서 흔히 나타나는 계층적 객체 구조를 다루며 분할 정확도를 향상시킨다.
• 저자들은 오픈 소스 코드와 지리공간 분할 패키지를 제공하여 원격 감지 워크플로우에 SAM 적응을 용이하게 한다.

Figure 2: Collection of image samples utilized in our research. The top row features UAV-based imagery with bounding boxes and point labels, serving as prompts for SAM. The middle row displays airborne-captured data representing larger regions, with both points and a rectangular box provided as mode