[논문 리뷰] USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery

Jeremy Irvin, Lucas Tao외 5명|arXiv (Cornell University)|2023. 12. 02.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

USat는 다중 센서 위성 영상에 대한 통합된 자기지도 학습 비전 트랜스포머 인코더를 소개하며, 지상 샘플링 거리(GSD)가 다른 스펙트럼 밴드를 내림샘플링 없이 처리한다. 센서별로 패치화를 적용하고, 초위치적 위치 인코딩 및 각 밴드별 독립적인 패치 프로젝션을 통해 USatMAE는 원격 감지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 정확도를 최대 8% 향상시키고, 낮은 데이터 환경에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Large, self-supervised vision models have led to substantial advancements for automatically interpreting natural images. Recent works have begun tailoring these methods to remote sensing data which has rich structure with multi-sensor, multi-spectral, and temporal information providing massive amounts of self-labeled data that can be used for self-supervised pre-training. In this work, we develop a new encoder architecture called USat that can input multi-spectral data from multiple sensors for self-supervised pre-training. USat is a vision transformer with modified patch projection layers and positional encodings to model spectral bands with varying spatial scales from multiple sensors. We integrate USat into a Masked Autoencoder (MAE) self-supervised pre-training procedure and find that a pre-trained USat outperforms state-of-the-art self-supervised MAE models trained on remote sensing data on multiple remote sensing benchmark datasets (up to 8%) and leads to improvements in low data regimes (up to 7%). Code and pre-trained weights are available at https://github.com/stanfordmlgroup/USat .

연구 동기 및 목표

• 원격 감지에서 단일 센서 자기지도 학습 미세조정의 한계를 해결하여 모델의 일반화 능력을 향상시키고, 상호보완적인 다중 센서 데이터를 효율적으로 활용한다.
• 다른 공간 해상도(GSD)를 가진 여러 센서의 스펙트럼 밴드를 내림샘플링 없이 처리할 수 있는 유연한 인코더를 개발한다. 이는 공간 해상도와 정보를 유지한다.
• 다중 센서, 다중 스펙트럼 데이터에서 더 풍부한 자기지도 학습을 활용하여 원격 감지 작업, 특히 낮은 데이터 환경에서의 최종 성능 향상을 도모한다.
• 다양한 후행 응용 분야에 적합한 모델의 적응 능력을 높이기 위해, 임의의 스펙트럼 밴드 및 센서 조합으로의 미세조정을 가능하게 한다.
• 기존 다중 센서 모델의 시퀀스 길이 및 메모리 비효율성을 해결하기 위해, GSD 인지 패치화와 초위치적 인코딩을 통해 시퀀스 길이를 줄인다.

제안 방법

• USat는 각 스펙트럼 밴드의 지상 샘플링 거리(GSD)에 따라 적응적으로 패치로 나누는 센서별 패치 프로젝션 레이어를 갖춘 비전 트랜스포머를 사용한다. 이는 고해상도 밴드가 더 많은 패치를 기여하도록 보장한다.
• 다중 GSD 입력의 계층적 공간 구조를 모델링하기 위해 초위치적 위치 인코딩을 적용하여 고해상도 밴드가 세밀한 공간 정보를 유지할 수 있도록 한다.
• 다른 스펙트럼 밴드에서 온 패치 임베딩은 스펙트럼 그룹 풀링 레이어를 통해 결합된 후, 위치 인코딩과 합쳐져 트랜스포머 인코더용 최종 패치 토큰을 형성한다.
• 모델은 다중 센서 데이터(예: Sentinel-2 및 NAIP)에서 마스크된 패치를 전체 입력으로부터 재구성하는 막힌 자동에코딩(MAE) 목적함수를 사용해 사전 훈련한다.
• 사전 훈련 및 미세조정 중에 임의의 스펙트럼 밴드 및 센서 조합을 지원하여 후행 응용 분야에 대한 민감한 적응을 가능하게 한다.
• 저해상도(GSD) 밴드를 내림샘플링하지 않아 고해상도 밴드의 공간 세부 정보를 손실 없이 유지하며, 이는 이전 방법에서 발생하는 정보 손실을 방지한다.

Figure 1 : Overview of the USat encoder architecture. USat can accept any subset of spectral bands (channels) and spatial patches from multiple satellite (Sentinel-2) and aerial imagery (NAIP) sensors. Each spectral band is independently patchified, with lower GSD (higher spatial resolution) bands d

실험 결과

연구 질문

• RQ1 내림샘플링 없이 다양한 지상 샘플링 거리(GSD)를 가진 다중 센서, 다중 스펙트럼 위성 영상의 통합된 자기지도 학습 인코더가 효과적으로 작동할 수 있는가?
• RQ2 예를 들어 Sentinel-2와 NAIP 센서를 함께 사전 훈련하면 단일 센서 사전 훈련보다 후행 성능이 향상되는가?
• RQ3 GSD 인지 패치화와 초위치적 인코딩 기법이 시퀀스 길이와 메모리 사용량을 줄이면서도 공간 정보를 유지할 수 있는가?
• RQ4 USatMAE는 표준 MAE 및 지도 학습 기반 베이스라인에 비해 낮은 데이터 환경에서 어떻게 성능을 발휘하는가?
• RQ5 모델은 다중 센서의 임의의 스펙트럼 밴드 조합을 사용해 얼마나 민감하게 미세조정될 수 있는가?

주요 결과

• USatMAE는 여러 원격 감지 벤치마크에서 최신 기술 수준의 자기지도 학습 MAE 모델을 초월하며, 평균적으로 최대 8% 높은 정확도를 달성했다.
• USatlas 데이터셋에서 USatMAE는 지도 학습 기반 베이스라인보다 1.26 mAP 향상되었고, 표준 MAE보다 0.41 mAP 향상되었다.
• 낮은 데이터 환경에서는 표준 MAE 대비 최대 7% 향상된 성능을 보이며, 강력한 소수의 샘플 일반화 능력을 입증했다.
• METER-ML에서 USatMAE는 지도 학습 대비 2.97 MAP 향상되었고, 표준 MAE 대비 3.16 MAP 향상되었다.
• Sentinel-2와 NAIP 센서 모두에서 공동 사전 훈련을 수행한 결과, 단일 센서 사전 훈련보다 우수한 성능을 보여 다중 센서 자기지도 학습의 이점을 확인했다.
• 고해상도 밴드를 내림샘플링하지 않아 공간 세부 정보를 유지하고, 이전의 다중 센서 접근 방식에서 발생하는 정보 손실을 방지했다.

(a) EuroSAT