Skip to main content
QUICK REVIEW

[论文解读] Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation

Zhitong Xiong, Yi Wang|arXiv (Cornell University)|Mar 22, 2024
Computational Physics and Python ApplicationsComputer Science被引用 19
一句话总结

引入 DOFA,一种以神经可塑性为灵感的动态、波长条件的多模态基础模型,在单一 Transformer 框架内统一并自适应处理光学、雷达、多光谱与高光谱的地球观测数据。它在跨传感器性能上表现出色,即使对未见传感器也能,且微调高效。

ABSTRACT

Earth observation (EO) in open-world settings presents a unique challenge: different applications rely on diverse sensor modalities, each with varying ground sampling distances, spectral ranges, and numbers of spectral bands. However, existing EO foundation models are typically tailored to specific sensor types, making them inflexible when generalizing across the heterogeneous landscape of EO data. To address this, we propose the Dynamic One-For-All (DOFA) model, a unified, multimodal foundation framework designed for diverse vision tasks in EO. Inspired by neural plasticity, DOFA utilizes a wavelength-conditioned dynamic hypernetwork to process inputs from five distinct satellite sensors flexibly. By continually pretraining on five EO modalities, DOFA achieves state-of-the-art performance across multiple downstream tasks and generalizes well to unseen modalities. Enhanced with hybrid continual pretraining, DOFA+ requires significantly fewer computational resources while outperforming counterparts trained with extensive GPU budgets. Experiments on diverse datasets highlight DOFA's potential as a foundation for general-purpose vision models in the sensor-diverse EO domain. The code and pre-trained weights are publicly available at https://github.com/zhu-xlab/DOFA.

研究动机与目标

  • 推动一个统一的地球观测(EO)数据基础模型,来自多传感器与多模态。
  • 提出 Dynamic One-For-All (DOFA) 架构,使用神经可塑性概念按光谱波长自适应权重。
  • 展示单一、共享的 Transformer 主干通过动态、波长条件的补丁嵌入,在多样化 EO 任务中均能达到优异。
  • 通过自监督的持续预训练和蒸馏式知识迁移来证明计算效率。

提出的方法

  • 提出一个由超网络驱动的动态权重生成器,对通道波长进行条件化,以产生模态特定的核。
  • 使用一个共享的 Vision Transformer 主干,具备用于多模态数据处理的动态编解码器组件。
  • 采用带有蒸馏损失的掩码图像建模(MIM),以利用预训练表示并加速收敛。
  • 采用基于波长的位置编码以及持续预训练框架,以对齐来自不同光谱带的传感器表示。
  • 在跨越多传感器的12个EO任务上评估 DOFA,并与最先进的基础模型及全监督基线进行比较。

实验结果

研究问题

  • RQ1单一的、动态加权的 Transformer 模型是否能够有效整合并处理来自多样 EO 传感器(SAR、光学、多光谱、高光谱)的数据?
  • RQ2波长条件的动态补丁嵌入如何影响跨传感器泛化,特别是对具有不同光谱分辨率的未见传感器?
  • RQ3DOFA 是否在分类和分割 EO 任务上相较现有 SOTA 基础模型能实现更快收敛与竞争性性能?
  • RQ4通过蒸馏的持续预训练是否能在不从头重新训练的情况下高效迁移到新模态?

主要发现

  • DOFA 在对13个下游数据集的分类/分割任务中,在微调后超越大多数最先进的基础模型的12个数据集。
  • 一个具有共享主干和动态、波长条件嵌入的单一 DOFA 模型,在多项 EO 任务上与完全训练的、模态特定模型相匹配或超越。
  • DOFA 收敛更快,并在预训练时未见过的传感器(如 Landsat 8)上展现出强传输能力。
  • 通过从 ImageNet 预训练教师进行蒸馏的持续预训练,实现跨异质光谱带的高效知识迁移。
  • 指标结果显示在若干 GEO-Bench 与 RESISC-45 任务上,Top-1 准确度和平均 IoU 具有竞争性或优越性,相较于现有方法。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。