[论文解读] CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders

Anthony T. Fuller, Koreen Millard+1 more|arXiv (Cornell University)|Nov 1, 2023

Synthetic Aperture Radar (SAR) Applications and Techniques被引用 14

一句话总结

CROMA 将对比雷达–光学学习与掩码自编码相结合，以学习丰富的单模态和多模态遥感表征，从而实现对更大图像的外推，并在若干基准测试中优于先前的多光谱模型。

ABSTRACT

A vital and rapidly growing application, remote sensing offers vast yet sparsely labeled, spatially aligned multimodal data; this makes self-supervised learning algorithms invaluable. We present CROMA: a framework that combines contrastive and reconstruction self-supervised objectives to learn rich unimodal and multimodal representations. Our method separately encodes masked-out multispectral optical and synthetic aperture radar samples -- aligned in space and time -- and performs cross-modal contrastive learning. Another encoder fuses these sensors, producing joint multimodal encodings that are used to predict the masked patches via a lightweight decoder. We show that these objectives are complementary when leveraged on spatially aligned multimodal data. We also introduce X- and 2D-ALiBi, which spatially biases our cross- and self-attention matrices. These strategies improve representations and allow our models to effectively extrapolate to images up to 17.6x larger at test-time. CROMA outperforms the current SoTA multispectral model, evaluated on: four classification benchmarks -- finetuning (avg. 1.8%), linear (avg. 2.4%) and nonlinear (avg. 1.4%) probing, kNN classification (avg. 3.5%), and K-means clustering (avg. 8.4%); and three segmentation benchmarks (avg. 6.4%). CROMA's rich, optionally multimodal representations can be widely leveraged across remote sensing applications.

研究动机与目标

• 通过从空间对齐的多模态数据（Sentinel-1 SAR 和 Sentinel-2 光学）学习丰富的自监督表征，动机是解决遥感中标注数据稀缺的问题。
• 开发一个将对比学习与掩码自编码结合的框架，以学习单模态和多模态表征。
• 在注意力中引入空间偏置（2D-ALiBi 和 X-ALiBi）以提升泛化和跨模态融合，使测试时能够对更大尺寸的图像进行外推。

提出的方法

• 三个编码器处理雷达、光学及雷达–光学联合输入（基于 ViT）。
• 掩码自编码目标使用一个轻量解码器从两种模态重建被掩码的补丁。
• 雷达↔光学对比损失在跨模态对齐单模态表征。
• 跨模态多模态编码器 fRO 通过对光学编码的交叉注意力学习联合表征。
• 2D-ALiBi 将自注意力偏向于二维补丁间距，X-ALiBi 偏向跨注意力以改善融合。
• 一种多模态重建目标（14 通道）增强了多模态表征学习，超过以光学为唯一目标的学习。

实验结果

研究问题

• RQ1 联合雷达–光学自监督框架是否能在遥感任务中超过单模态预训练？
• RQ2 在从空间对齐的多模态遥感数据学习时，重建与对比目标是否彼此互补？
• RQ3 2D-ALiBi 和 X-ALiBi 如何影响对更大尺寸图像的外推和跨模态融合？

主要发现

• CROMA 在四个分类基准上超过当前最先进的多光谱模型 SatMAE，无论是使用微调、线性、非线性探测，还是 kNN 与 K-means 聚类评估。
• CROMA 在三个 Sentinel-2 基准上实现更强的分割性能，对 ViT-B 和 ViT-L 主干平均而言均超越 SatMAE。
• 联合多模态表征（雷达–光学）在性能上优于仅光学的表征，在 BigEarthNet 与 Dynamic World 基准上有显著提升。
• CROMA 展示了在测试时将图像外推到最大 17.6 倍的能力，且退化较小，这要归功于 2D-ALiBi 和 X-ALiBi 偏置。
• 与仅雷达和雷达–光学基线相比，CROMA 的多模态表征在线性探测上表现强劲，并且相对于并行的多模态方法如 DeCUR 具有竞争力。
• 消融研究证实，结合对比与重建目标以及所提出的位置偏置是性能和外推能力的关键。