[논문 리뷰] TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis

Zhengpeng Feng, Clement Atzberger외 12명|arXiv (Cornell University)|2025. 06. 25.

Image Retrieval and Classification Techniques인용 수 30

한 줄 요약

TESSERA는 전역 10m Sentinel-1 및 Sentinel-2 시계열로부터 픽셀별 128차원 표현을 자기지도 학습으로 학습하여, 사전 계산된 글로벌 맵으로 다양한 다운스트림 EO 태스크에서 강력한 성능을 달성합니다.

ABSTRACT

Satellite Earth-observation (EO) time series in the optical and microwave ranges of the electromagnetic spectrum are often irregular due to orbital patterns and cloud obstruction. Compositing addresses these issues but loses information with respect to vegetation phenology, which is critical for many downstream tasks. Instead, we present TESSERA, a pixel-wise foundation model for multi-modal (Sentinel-1/2) EO time series that learns robust, label-efficient embeddings. During model training, TESSERA uses Barlow Twins and sparse random temporal sampling to enforce invariance to the selection of valid observations. We employ two key regularizers: global shuffling to decorrelate spatial neighborhoods and mix-based regulation to improve invariance under extreme sparsity. We find that for diverse classification, segmentation, and regression tasks, TESSERA embeddings deliver state-of-the-art accuracy with high label efficiency, often requiring only a small task head and minimal computation. To democratize access, adhere to FAIR principles, and simplify use, we release global, annual, 10m, pixel-wise int8 embeddings together with open weights/code and lightweight adaptation heads, thus providing practical tooling for large-scale retrieval and inference at planetary scale. The model training/inference code, downstream task code, and pre-generated embeddings can be accessed at https://github.com/ucam-eo

연구 동기 및 목표

• 데이터 격차와 라벨링 부족 속에서 고해상도이며 시간적으로 풍부한 표현의 필요성을 강조한다.
• optical과 SAR 시계열을 융합하기 위한 자기지도, 듀얼-인코더 기반의 기초 모델을 제안한다.
• 2017–2024년의 글로벌 10m 해상도 연간 표현을 생성하고, 고정 임베딩으로 다운스트림 태스크를 가능하게 한다.
• 작물 분류, 수관 높이 추정, 연소 영역 탐지, 생물량 추정, 탄소시장 지수에서 최첨단 성능을 입증한다.
• 실무자들의 장벽을 낮추기 위한 오픈 소스 접근과 모델-데이터 접근 방식을 제공한다.

제안 방법

• 연 10m 픽셀당 라벨링되지 않은 Sentinel-1 SAR 및 Sentinel-2 MSI 시계열을 모달리티별 d-픽셀(타임스텝×채널)로 처리한다.
• SAR VV/VH와 MSI 스펙트럼에 대해 DOY 기반 시간 인코딩과 주의집중 풀링 층이 있는 두 개의 병렬 Transformer 인코더를 사용하여 모달리티별 표현을 128차원으로 생성한다.
• 모달리티 임베딩을 MLP로 융합하여 픽셀당 128차원 융합 표현을 만든다.
• 융합 표현을 대형 프로젝터 네트워크를 통해 16,384차원으로 확장한다.
• 두 개의 보강 뷰를 가진 희소한 시간Sampling을 활용한 교차상관에 대해 수정된 Barlow Twins 손실(L_BT + L_MIX)을 사용하여 학습한다.
• 추론 시 인코더를 고정하여 2017–2024년의 연간 10m 표현을 생성하고 글로벌 표현 맵을 산출한다.

실험 결과

연구 질문

• RQ1 Sentinel-1과 Sentinel-2의 다중 모달 시간 임베딩이 전통적인 특징 공학 및 기존 기초 모델을 넘어 다양한 EO 태스크에서 우수한 성능을 보일 수 있는가?
• RQ2 전 세계 10m 해상도의 연간 표현이 작물 분류, 수관 높이, 연소 영역, 생물량 추정으로 일반화될 수 있으며, 특히 라벨이 적은 상황에서의 일반화는 어떠한가?
• RQ3 학습된 표현이 미리 전처리 없이 시간적 역학 및 교란(예: 화재)을 얼마나 잘 포착하는가?
• RQ4 오픈 소스 프리컴퓨트 표현 맵 접근법이 EO 연구의 채택과 재현성을 촉진하는가?

주요 결과

• TESSERA 표현은 전통적 기준선 및 다른 기초 모델에 비해 다운스트림 태스크에서 최첨단 성능을 달성한다.
• 오스트리아 INVEKOS 데이터세트의 작물 유형 분류에서, 간단한 MLP를 쓴 TESSERA가 Random Forest 및 PRESTO 임베딩을 데이터 규범 전 범위에서 능가하며 원샷 학습을 포함한 다양한 데이터 규범에서 우수한 성능을 보인다.
• 열대 지방 다눔 계곡에서 수관 높이 추정은 TESSERA가 R^2 = 0.66, RMSE = 8.88 m, 편향 = -0.62 m를 달성하며 글로벌 및 지역 CHM 제품보다 우수한 성능을 보여준다.
• 연소 영역 분석은 TESSERA 임베딩이 화염 여부를 구분하고, UMAP 투영에서 화염 시기와 심각도를 구분한다는 것을 시연한다.
• 다수의 태스크에서, 한정된 라벨 데이터 환경에서도 TESSERA는 종종 bespoke 모델을 능가하거나 일치하는 견고함을 보인다.
• 이 모델은 프리컴퓨트 10m 표현을 사용하는 “모델-데이터” 패러다임을 지원하여 최종 사용자에 대한 전처리 필요성을 줄인다.