[논문 리뷰] Any Model, Any Place, Any Time: Get Remote Sensing Foundation Model Embeddings On Demand

Dingqi Ye, Daniel Kiv외 3명|arXiv (Cornell University)|2026. 02. 27.

Remote-Sensing Image Classification인용 수 0

한 줄 요약

rs-embed은 다양한 원격 탐지 기초 모델로부터 임베딩을 필요할 때 얻을 수 있는 단일 ROI 중심 인터페이스를 제공하여, 즉시 생성 또는 사전 계산된 임베딩을 배치 처리 및 견고한 내보내기로 가능하게 한다.

ABSTRACT

The remote sensing community is witnessing a rapid growth of foundation models, which provide powerful embeddings for a wide range of downstream tasks. However, practical adoption and fair comparison remain challenging due to substantial heterogeneity in model release formats, platforms and interfaces, and input data specifications. These inconsistencies significantly increase the cost of obtaining, using, and benchmarking embeddings across models. To address this issue, we propose rs-embed, a Python library that offers a unified, region of interst (ROI) centric interface: with a single line of code, users can retrieve embeddings from any supported model for any location and any time range. The library also provides efficient batch processing to enable large-scale embedding generation and evaluation. The code is available at: https://github.com/cybergis/rs-embed

연구 동기 및 목표

• 이질적인 RS 기초 모델 간에 접근 가능하고 비교 가능한 임베딩이 필요하다는 동기를 부여한다.
• 필요 시 임베딩을 위한 통합된 ROI 중심 인터페이스로 rs-embed를 도입한다.
• 표준화된 메타데이터를 통해 일관된 벤치마킹 및 모델 간 평가를 가능하게 한다.
• 대규모 임베딩 생성 및 평가를 지원하는 고처리량의 병렬 파이프라인을 제공한다.
• 옥수수 수확량 맵핑 사례 연구를 통해 rs-embed의 유용성을 입증한다.

제안 방법

• CRS 검증을 포함한 경계상자(bounding boxes) 또는 포인트 버퍼를 사용하는 공간 사양을 정의한다.
• 왼쪽 닫힘, 오른쪽 열림 간격의 연도 또는 시간 범위를 갖는 시간 사양을 정의한다.
• 풀링 벡터 또는 격자 형태 임베딩를 지원하는 출력 사양을 정의한다.
• 클라우드 API(GEE 등)를 표준화된 텐서로 래핑하는 프로바이더 계층을 추상화한다.
• 다양한 RS 기초 모델을 위한 통일된 기본 클래스를 갖는 임베더 계층을 구현한다.
• 캐싱과 병렬 I/O를 갖춘 고성능 4단계 파이프라인(오케스트레이션, 프리패치, 추론, 내보내기)을 구축한다.

Figure 1. Comparison of a complex current workflow vs. rs-embed, which generates standardized embeddings (plus metadata) from location, time, and model ID in a single line of code.

실험 결과

연구 질문

• RQ1 rs-embed가 임의의 위치와 시간에서 여러 원격 탐지 기초 모델에 대해 임베딩에 균일하게 접근하고 추출할 수 있는가?
• RQ2 ROI 중심 디자인이 모델 간의 배치 처리, 처리량 및 재현성에 어떤 영향을 미치는가?
• RQ3 다양한 센서 사양과 풀링 전략이 다운스트림 작업과 벤치마킹에 미치는 영향은 무엇인가?
• RQ4 실제로 rs-embed가 즉시 추론과 사전 계산된 임베딩을 얼마나 잘 지원하는가?
• RQ5 모델 간 평가를 위한 통합 임베딩 플랫폼의 실제 이점과 한계는 무엇인가?

주요 결과

• rs-embed는 다양한 RS 모델에서 임의의 위치와 시간 범위에 대한 임베딩을 한 줄로 검색 가능하게 한다.
• 이 아키텍처는 표준화된 출력 및 메타데이터를 갖춘 즉시 추론 및 사전 계산 임베딩 모드를 지원한다.
• 배치 처리, 캐싱 및 비동기 I/O를 갖춘 고처리량 파이프라인은 임베딩 처리량과 확장성을 향상시킨다.
• 옥수수 수확량 맵핑 사례에서 서로 다른 모델의 임베딩을 랜덤 포레스트로 비교했으며, Agrifm이 가장 높은 R^2를 달성했다.
• 시각화는 임베딩이 주요 토지 피복 구조를 포착하고 동일한 시공 간 설정에서 모델 간 비교를 가능하게 함을 보여준다.
• 이 프레임워크는 재현성 제어, 실패 격리 및 대규모 임베딩 작업을 위한 구조화된 매니페스트를 제공한다.

Figure 2. rs-embed architecture overview.