[논문 리뷰] EO-VAE: Towards A Multi-sensor Tokenizer for Earth Observation Data

Nils Lehmann, Yi Wang외 2명|arXiv (Cornell University)|2026. 02. 12.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

EO-VAE는 다중 스펙트럼 지구 관측 데이터를 토큰화하고 재구성하기 위해 다이나믹 하이퍼네트워크를 갖춘 단일 멀티모달 변분 오토인코더를 도입하여, 재구성에서 TerraMind 토크나이저를 능가하고 잠재 확산 작업을 효율적으로 가능하게 한다.

ABSTRACT

State-of-the-art generative image and video models rely heavily on tokenizers that compress high-dimensional inputs into more efficient latent representations. While this paradigm has revolutionized RGB generation, Earth observation (EO) data presents unique challenges due to diverse sensor specifications and variable spectral channels. We propose EO-VAE, a multi-sensor variational autoencoder designed to serve as a foundational tokenizer for the EO domain. Unlike prior approaches that train separate tokenizers for each modality, EO-VAE utilizes a single model to encode and reconstruct flexible channel combinations via dynamic hypernetworks. Our experiments on the TerraMesh dataset demonstrate that EO-VAE achieves superior reconstruction fidelity compared to the TerraMind tokenizers, establishing a robust baseline for latent generative modeling in remote sensing.

연구 동기 및 목표

• 다양한 채널 구성에 대처하기 위해 다센서 EO 데이터에 대한 단일 토크나이저의 필요성을 제시한다.
• 채널 파장에 조건부로 동적 하이퍼네트워크를 적용한 EO-VAE를 개발한다.
• TerraMesh 데이터에서 TerraMind 토크나이저에 비해 재구성 충실도가 우수함을 입증한다.
• 다운스트림 생성 작업을 위한 고정 잠재 토크나이저로서의 EO-VAE를 선보이고 효율성 이득을 정량화한다.

제안 방법

• 채널 파장에 따라 입력 및 출력 계층에서 동적 하이퍼네트워크로 조건화된 Flux.2 오토인코더를 기본 아키텍처로 채택한다.
• 수렴 속도 향상을 위해 교사 Flux.2로부터 동적 계층에 가중치 증류를 적용한다.
• 픽셀 단위 재구성 손실을 사용하여 다중 모달 TerraMesh 데이터셋에서 엔드투엔드 미세조정한다.
• 충실도와 지각적 품질의 균형을 맞추기 위해 Charbonier 손실과 다중 스케일 구조적 유사도 손실을 조합하여 학습한다.
• 스펙트럼 무결성을 평가하기 위해 RMSE, PSNR, SSIM, SAM, NDVI-MAE로 재구성을 평가한다.

Figure 1: EO-VAE Architecture and Training Regime. The first and last convolutional layer of the Flux.2 Autoencoder architecture are replaced with dynamic convolution hypernetworks (Xiong et al. , 2024 ) . After weight distillation of the frozen Flux.2 convolutional weights, we finetune end-to-end o

실험 결과

연구 질문

• RQ1 단일 오토인코더 토크나이저가 다양한 EO 센서에서 가변 채널 조합을 효과적으로 인코딩하고 재구성할 수 있는가?
• RQ2 채널 파장에 대한 동적 조건부가 모듄별 토크나이저와 비교해 다중 스펙트럼 재구성 충실도를 향상시키는가?
• RQ3 다중 센서 EO 데이터에서 다운스트림 확산 기반 초해상도 과제에 EO-VAE가 타당한 고정 잠재 공간인가?

주요 결과

모델	RMSE (S1RTC)	PSNR (S1RTC)	SSIM (S1RTC)	SAM (S1RTC)	RMSE (S2L2A)	PSNR (S2L2A)	SSIM (S2L2A)	SAM (S2L2A)	NDVI-MAE (S2L2A)
EO-VAE	0.1401	37.23	0.9372	0.1601	0.0686	42.80	0.9720	0.0842	0.0410
TerraMind	0.6711	23.65	0.2803	0.7285	0.7004	22.95	0.7543	0.3568	0.1403

• EO-VAE는 RMSE, PSNR, SSIM, SAM 전 영역에서 S1RTC 및 S2L2A에서 TerraMind 토크나이저를 크게 능가한다.
• S2L2A에서 EO-VAE는 PSNR 42.80 dB를 달성하고 TerraMind의 22.95 dB 대비 NDVI-MAE는 3.5배 감소했다.
• 하나의 모델로 다스펙트럼 입력을 처리하면서 우수한 재구성 품질을 달성한다.
• 잠재 확산 기반 초해상도에서 EO-VAE는 RGB+NIR 대역에 대해 RGB Flux.2 VAE 성능과 동등하거나 우수하고 픽셀 공간 확산보다 우수하다.
• EO-VAE를 활용한 잠재 확산은 픽셀 공간 확산보다 대략 18배 더 높은 추론 효율을 보인다.

(a) S2L2A modality reconstruction.