[논문 리뷰] Investigating the Segment Anything Foundation Model for Mapping Smallholder Agriculture Field Boundaries Without Training Labels

Pratyush Tripathy, Kathy Baylis외 3명|arXiv (Cornell University)|2024. 07. 01.

Rural development and sustainabilityAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 연구는 인도 비하르에서 2미터 해상도의 스킨서트 위성 영상만을 사용하여, 추가 트레이닝 레이블 없이도 세그먼트 어芮어니 모델(SAM)을 이용해 소규모 농업 경계를 매핑하는 데 초점을 맞춘다. 다양한 모델 체크포인트 조합, 입력 이미지 크기의 다양성, 다중 일정 위성 영상, 엣지 강화 입력을 통합함으로써 SAM은 58%의 경계 탐지 정확도를 달성하였으며, 데이터가 부족한 지역에서 강력한 제로샷 잠재력을 입증하였다.

ABSTRACT

Accurate mapping of agricultural field boundaries is crucial for enhancing outcomes like precision agriculture, crop monitoring, and yield estimation. However, extracting these boundaries from satellite images is challenging, especially for smallholder farms and data-scarce environments. This study explores the Segment Anything Model (SAM) to delineate agricultural field boundaries in Bihar, India, using 2-meter resolution SkySat imagery without additional training. We evaluate SAM's performance across three model checkpoints, various input sizes, multi-date satellite images, and edge-enhanced imagery. Our results show that SAM correctly identifies about 58% of field boundaries, comparable to other approaches requiring extensive training data. Using different input image sizes improves accuracy, with the most significant improvement observed when using multi-date satellite images. This work establishes proof of concept for using SAM and maximizing its potential in agricultural field boundary mapping. Our work highlights SAM's potential in delineating agriculture field boundary in training-data scarce settings to enable a wide range of agriculture related analysis.

연구 동기 및 목표

• 라벨이 없는 트레이닝 데이터 없이도 세그먼트 어芮어니 기초 모델(SAM)을 이용해 소규모 농업 경계를 탐지할 수 있는지의 가능성을 평가하는 것.
• 모델 성능이 다양한 SAM 체크포인트, 입력 이미지 크기, 엣지 강화와 같은 영상 전처리 기법에 따라 어떻게 달라지는지 조사하는 것.
• 저자원 환경에서 소규모 농업 경계 탐지 정확도에 대해 다중 시기 위성 영상 사용이 미치는 영향을 평가하는 것.
• 특히 실측 데이터가 제한된 지역에서 제로샷 지리공간 AI의 개념 증명을 수립하는 것.
• 지오엑스에이아(GeoXAI)에 기여하여, 인공지능 기반 농업 매핑 워크플로우의 투명성과 해석 가능성을 향상시키는 것.

제안 방법

• 모델를 미세조정 없이 제로샷 추론를 적용하기 위해 사전 학습된 세그먼트 어芮어니 모델(SAM)을 사용하며, 기본 시각 인코더와 마스크 디코더를 활용한다.
• 아키텍처 변형 간 성능 차이를 비교하기 위해 세 가지 SAM 체크포인트(vit_h, vit_b, vit_l)를 평가한다.
• 해상도가 분할 정확도에 미치는 영향을 테스트하기 위해 입력 이미지 크기 조정을 적용하며, 작은 크기와 큰 크기의 이미지를 모두 사용한다.
• 다른 날짜의 영상과 엣지 강화 전처리를 거친 영상의 예측을 조합하여 탐지 정확도를 향상시킨다.
• 중복 예측을 줄이고 자원 낭비를 방지하기 위해 비최대 억제 유사 전략을 사용한다.
• 정확도 평가를 위해 실제 경계와의 교차율(IoU)을 사용하며, 임계값 0.5를 기준으로 정확하게 탐지된 경계를 식별한다.

실험 결과

연구 질문

• RQ1 2미터 해상도의 위성 영상에서 레이블 없이도 세그먼트 어芮어니 모델(SAM)이 소규모 농업 경계를 정확하게 탐지할 수 있는가?
• RQ2 소규모 농업 경계 매핑 맥락에서 SAM 체크포인트와 입력 이미지 크기에 따라 모델 성능은 어떻게 변화하는가?
• RQ3 다중 일정 위성 영상 사용이 SAM을 통한 농업 경계 탐지 정확도에 얼마나 기여하는가?
• RQ4 입력 위성 영상의 엣지 강화가 데이터가 부족한 환경에서 SAM의 경계 탐지 능력을 향상시키는가?
• RQ5 다양한 모델, 이미지 크기, 시간대의 예측을 조합하는 앙상블 전략은 전체 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• SAM은 트레이닝 데이터 없이 2미터 스킨서트 위성 영상에 적용했을 때 평균 58%의 경계 탐지 정확도를 달성하여 강력한 제로샷 능력을 입증하였다.
• 다양한 SAM 체크포인트의 예측을 조합함으로써 약간의 정확도 향상이 있었지만, 다중 일정 영상 사용에 비해 성과는 덜 두드러졌다.
• 다중 일정 위성 영상 사용이 정확도 향상에 가장 큰 기여를 하였으며, 분할 작업에서 시간적 다양성의 가치를 입증하였다.
• 입력 이미지 크기의 영향은 명확하게 나타났으며, 매우 작은 또는 매우 큰 이미지보다 중간 크기의 입력에서 더 우수한 성능을 보였다.
• 엣지 강화 영상은 추가로 정확도 향상을 이끌어내어, 지리공간 응용 분야에서 특징 공학이 기초 모델의 성능 향상에 기여할 수 있음을 시사한다.
• 다중 일정 영상, 다양한 입력 크기, 엣지 강화 영상의 조합은 가장 포괄적이고 정확한 농업 경계 레이어를 생성하였으며, 실제 경계의 58%를 탐지하였다.