[논문 리뷰] CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders

Anthony T. Fuller, Koreen Millard외 1명|arXiv (Cornell University)|2023. 11. 01.

Synthetic Aperture Radar (SAR) Applications and Techniques인용 수 14

한 줄 요약

CROMA는 대조적 레이더–광학 학습과 마스크된 자동 인코딩을 결합하여 풍부한 단일 모달 및 다중 모달 원격 감지 표현을 학습하고, 더 큰 이미지로의 외삽을 가능하게 하며 여러 벤치마크에서 기존 다중 스펙트럴 모델보다 성능이 우수합니다.

ABSTRACT

A vital and rapidly growing application, remote sensing offers vast yet sparsely labeled, spatially aligned multimodal data; this makes self-supervised learning algorithms invaluable. We present CROMA: a framework that combines contrastive and reconstruction self-supervised objectives to learn rich unimodal and multimodal representations. Our method separately encodes masked-out multispectral optical and synthetic aperture radar samples -- aligned in space and time -- and performs cross-modal contrastive learning. Another encoder fuses these sensors, producing joint multimodal encodings that are used to predict the masked patches via a lightweight decoder. We show that these objectives are complementary when leveraged on spatially aligned multimodal data. We also introduce X- and 2D-ALiBi, which spatially biases our cross- and self-attention matrices. These strategies improve representations and allow our models to effectively extrapolate to images up to 17.6x larger at test-time. CROMA outperforms the current SoTA multispectral model, evaluated on: four classification benchmarks -- finetuning (avg. 1.8%), linear (avg. 2.4%) and nonlinear (avg. 1.4%) probing, kNN classification (avg. 3.5%), and K-means clustering (avg. 8.4%); and three segmentation benchmarks (avg. 6.4%). CROMA's rich, optionally multimodal representations can be widely leveraged across remote sensing applications.

연구 동기 및 목표

• 원격 감지에서 라벨이 제한된 데이터를 해결하고 공간적으로 정렬된 다중 모달 데이터(Sentinel-1 SAR와 Sentinel-2 광학)로부터 풍부한 자기지도 표현을 학습한다.
• 대조 학습과 마스크 자동 인코딩을 결합하여 단일 모달 및 다중 모달 표현을 학습하는 프레임워크를 개발한다.
• 테스트 시 더 큰 이미지 크기로의 일반화를 개선하고 다 modality fusion을 가능하게 하는 2D-ALiBi와 X-ALiBi를 포함한 attention의 공간 바이어스를 도입한다.

제안 방법

• 세 개의 인코더가 레이더, 광학, 그리고 공동 레이더–광학 입력을 처리한다(ViT 기반).
• 마스크된 패치를 두 모달리티에서 재구성하기 위한 경량 디코더를 사용하는 마스크된 자동 인코딩 목표를 가진다.
• 레이더↔광학 대조 손실은 모달 간 단일 모달 표현을 정렬한다.
• 교차 모달 멀티모달 인코더 fRO는 광학 인코딩에 대한 교차 주의(attention)를 통해 공동 표현을 학습한다.
• 2D-ALiBi는 2D 패치 거리의 자기 주의를 바이어스하고, X-ALiBi는 교차 주의를 바이어스하여 융합을 개선한다.
• 멀티모달 재구성 타깃(14 채널)은 광학만 타깃을 넘어 멀티모달 표현 학습을 강화한다.

실험 결과

연구 질문

• RQ1 joint radar–optical 자기지도 프레임워크가 원격 감지 작업에서 단일 모달 사전 학습을 능가할 수 있는가?
• RQ2 공간적으로 정렬된 다중 모달 원격 감지 데이터에서 재구성과 대조적 목표가 서로 보완적으로 작용하는가?
• RQ3 2D-ALiBi와 X-ALiBi가 더 큰 이미지 크기로의 외삽과 교차 모달 융합에 어떤 영향을 미치는가?

주요 결과

• CROMA는 finetune, linear, nonlinear probing은 물론 kNN 및 K-means clustering에서 평가될 때 현재 최첨단 다중 스펙트럴 모델 SatMAE를 네 벤치마크에서 능가한다.
• CROMA는 세 가지 Sentinel-2 벤치마크에서 더 강한 세분화 성능을 달성하며 ViT-B와 ViT-L 백본에서 SatMAE를 평균적으로 능가한다.
• joint 멀티모달 표현(레이더–광학)은 광학 전용 표현에 비해 성능을 개선하며 BigEarthNet 및 Dynamic World 벤치마크에서 현저한 이점을 보인다.
• 테스트 시 2D-ALiBi와 X-ALiBi 바이어스로 인해 최대 17.6배 더 큰 이미지로의 외삽이 가능하고 약간의 성능 저하가 나타난다.
• 레이더 단독 및 레이더–광학 대비 CROMA의 다중 모달 표현은 강한 선형 탐색 성능과 DeCUR와 같은 동시 다중 모달 방법에 대한 경쟁력을 보여준다.
• 앱레이션 연구는 대조적 목표와 재구성 목표를 결합하고 제안된 위치 바이어스가 성능과 외삽 능력의 핵심이라는 것을 확인한다.